CN107578404B - 基于视觉显著特征提取的全参考立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于视觉显著特征提取的全参考立体图像质量客观评价方法。对立体图像对的左右视图进行处理得到对应的视差图；分别对立体图像对的左右视图进行图像融合得到中间参考和失真图像,利用谱残差视觉显著性模型获得参考和失真显著性图，并通整合得到视觉显著性图,从中间参考和失真图像提取视觉信息特征以及从立体图像对的视差图中提取深度信息特征，进行相似性度量，得到视觉显著增强的各视觉信息特征的度量指标,进行支持向量机训练预测，得到客观质量分数，实现对立体图像质量的映射，完成立体图像质量的测定与评价。本发明所提出的图像质量客观评价与主观评价具有很好的一致性，且性能优于已有的立体图像质量评价方法。

Description

基于视觉显著特征提取的全参考立体图像质量客观评价方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于视觉显著特征提取的全参考立体图像质量客观评价方法。

背景技术

图像在图像采样、传输、压缩和重现过程中总会发生各种各样的失真，而人类对图像信息的质量也要求越来越高，所以随着3D视频和技术的发展，立体图像质量评价技术在人类社会生活中变得越来越重要。由于主观的立体图像质量评价方法要求人类观察者为每个图像都要提供主观的质量分数。这些方法耗时性和弱实时性等缺陷，十分有必要发展客观的立体图像质量评价方法，以实现自动、高效、客观地评价立体图像质量。理想的客观IQA指标应该具有良好的预测图像质量的能力，并且与主观测量完全一致。

立体图像质量客观评价可以分为三个类别：全参考方法、半参考方法和无参考方法。这三类方法的主要区别在于对原始参考图像的依赖程度不同。而由于现在国内外的研究热点主要集中在全参考和无参考立体图像质量评价度量方法，其中关于全参考图像质量评价的研究更多，技术相对来说较为成熟，在此基础上建立的模型与主观测量一致性较高。但由于立体图像视觉模型***还不完善，因此立体图像客观质量评价依然是当今研究的热点和难点。

发明内容

本发明公开了一种视觉显著特征提取的全参考立体图像质量客观评价方法。其目的是利用视觉显著性模型，协助提取立体图像视觉特征，并综合视觉特征信息以实现对立体图像质量的映射，完成立体图像质量的测定与评价。

本发明采取的技术方案是：

首先，利用结构相似度算法分别对参考和失真立体图像对的左右视图进行处理，得到对应的视差图；利用双目视图融合算法分别对参考和失真立体图像对的左右视图进行图像融合，得到中间参考和失真图像。其次，对中间参考和失真图像利用谱残差视觉显著性模型获得参考和失真显著性图，并通过最大化公式整合视觉显著性图。然后，从中间参考和失真图像提取视觉信息特征以及从视差图中提取深度信息特征，并在视觉显著性图的指导协助下进行相似性度量，得到各视觉信息特征的度量指标。最后，对各视觉信息特征度量指标进行支持向量机训练预测，实现对立体图像质量的映射，完成立体图像质量的测定与评价。

本发明解决其技术问题所采用的技术方案如下：

步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；

步骤(2).构建Log Gabor滤波器模型，对步骤(1)中的立体图像对进行卷积运算处理，分别得到参考和失真立体图像对中左右视图的能量响应图；

Log Gabor滤波器的表达式如下：

其中，f₀和θ₀是Log Gabor滤波器的中心频率和方位角，σ_θ和σ_f分别代表滤波器的方位角带宽和径向带宽，f和θ分别代表滤波器的径向坐标和方位角。

将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后，得到相应的能量响应图，表达式如下：

其中，I(x,y)为参考和失真立体图像对的左视图或右视图，为卷积运算；

步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图；

步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移，构造和左视图像素坐标对应的校准右视图I_R((x+d),y)，然后基于步骤(2)得到左视图和校准右视图的能量响应图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)和F_R((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图，d为步骤(3)计算得到的视差图D中对应坐标的视差值；

步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图，利用双目视图融合模型实现对立体图像的图像融合，分别得到参考的和失真的中间图像；双目视图融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (5-1)

其中，CI(x,y)即是双目视图融合后的中间图像，I_L(x,y)和I_R((x+d),y)分别为立体图像对的左视图和校准右视图；

步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图，并对其进行整合，建立整合后的视觉显著性图S_f。

步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，并对失真立体图像对的视差图的失真程度做出度量；采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性，作为反应失真立体图像对在视差图上质量失真程度的指标，表达式如下：

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，E()是均值函数，ε为大于零的常数，防止分母为零，Index₁和Index₂是深度特征信息的两个相似性度量指标；

步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征；

将Prewitt算子与被测图像进行卷积处理，得到包含边缘轮廓信息的梯度图，利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下：

其中，f(x,y)为立体图像对的左/右视图，为卷积运算，h_x和h_y是3×3的Prewitt垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘。模板表达式如下：

纹理信息特征的提取采用局部二值模式LBP，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_p是图像的相邻像素点的灰度值，x和y代表中心像素点的坐标值。sgn(x)是阶跃函数。

步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的视觉信息特征，具体表达式如下：

GM_SR(x,y)＝GM_R(x,y)*S_f(x,y) GM_SD(x,y)＝GM_D(x,y)*S_f(x,y) (9-1)

TI_SR(x,y)＝TI_R(x,y)*S_f(x,y) TI_SD(x,y)＝TI_D(x,y)*S_f(x,y) (9-2)

I_SR(x,y)＝I_R(x,y)*S_f(x,y) I_SD(x,y)＝I_D(x,y)*S_f(x,y) (9-3)

其中，GM_R、TI_R和I_R分别是中间参考图像的边缘、纹理和亮度特征信息，GM_D、TI_D和I_D分别是中间失真图像的边缘、纹理和亮度特征信息；S_f为步骤(6)得到的整合后的视觉显著性图；

步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量，表达式如下：

其中，GM_SR、TI_SR和I_SR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征，GM_SD、TI_SD和I_SD表示中间失真图像的显著性增强的边缘、纹理和亮度信息，Index₃、Index₄和Index₅分别代表边缘、纹理和亮度信息特征的相似性度量指标，C₄是一个大于零的常数，其目的是防止分母为零；

步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理，得到L个尺度的中间参考和失真图像，对L个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量，总共得到N个相似性度量指标，则N＝2L+2；

降采样的方法如下：输入一幅图像，通过低通滤波器得到滤波图像，然后对滤波图像进行采样因子为m的降采样处理，得到降采样后的图像。

步骤(12).整合步骤(8)和(11)中得到的各个度量指标，进行支持向量机SVR训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。

其中，根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(3)包括如下步骤：

步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移k次，每次移动的步长为s像素点，得到水平右移后的k幅修正右视图I_R((x+i*s),y)，(i＝1,2,…k)，每一幅修正右视图对应的标号为i，(i＝1,2,…k)；

步骤(3.2).利用结构相似度算法SSIM分别计算立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图。SSIM算法表达式如下：

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。C₁和C₂为大于零的常数，防止分母为零；

步骤(3.3).对于左视图的每一个像素点(x,y)，取其k幅结构相似性图中局部结构相似性值最大的一幅，对应标号为i，(i＝1,2,…k)，则i*s为(x,y)像素点对应的视差值，记录为d，从而构建视差图D。

根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(6)具体为：

视觉显著性图提取方法采用谱残差的视觉显著性模型(SR)，具体内容如下：

给定一幅图像I(x,y)，有：

其中，F()和F^-1()为二维傅里叶变换和其反变换，Re()表示取实部运算，Angle()表示取辐角运算，S(x,y)为通过谱残差方法得到的显著性图，g(x,y)是高斯低通滤波器，h_n(f)是局部均值滤波器，其表达式如下：

其中，σ是概率分布中的标准偏差；

对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图，按下式所示的方法建立整合后的视觉显著性图；

S_f(x,y)＝Max[S_ref(x,y),S_dis(x,y)] (6-4)

其中，S_ref和S_dis分别为中间参考和失真图像的视觉显著性图，S_f为整合后的视觉显著性图。

根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(12)中进行支持向量机SVR训练预测，获得最佳预测模型具体为：

SVR训练预测方法具体采用5-折交叉验证来训练与测试模型，具体方案如下：

步骤(12.1).将样本随机分为互不相交的五份，选出其中四份进行SVR训练以获得最佳模型，然后将剩余的一份运用到该模型上去，得到相应的客观质量值来对主观质量进行预测；

步骤(12.2).将步骤(12.1)的操作重复进行多次，取所有数据结果平均值来表征所提出模型的性能；

具体表达式如下：

Q＝SVR(Index₁,Index₂,…,Index_n) (12-1)

其中，Q为客观质量评价分数。

本发明的有益效果：

本发明通过视觉显著性图协助提取视觉信息特征，并综合视觉信息特征以实现对立体图像质量的映射，实现对失真立体图像对质量的客观评价。实验结果表明，基于本发明所提出方法对立体图像质量的评价性能与主观评价具有很好的一致性，优于传统立体图像质量评价方法。

附图说明

图1为本发明基于视觉显著特征提取的全参考立体图像质量客观评价方法的原理图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

步骤(1).利用Matlab软件依次读入美国德州大学奥斯汀分校的3D LIVE图像数据库中阶段I和阶段II的参考立体图像对和对应的失真立体图像对,其中每个立体图像对分别包括左右视图图像。

步骤(2).构建Log Gabor滤波器模型，对步骤(1)中的立体图像对进行卷积运算处理，分别得到参考和失真立体图像对中左右视图的能量响应图；

Log Gabor滤波器的表达式如下：

其中，f₀和θ₀是Log Gabor滤波器的中心频率和方位角，σ_θ和σ_f分别代表滤波器的方位角带宽和径向带宽，f和θ分别代表滤波器的径向坐标和方位角。其中，σ_θ＝π/18，σ_f＝0.75，f₀＝1/6，θ₀＝0，f＝0，π/4，π/3，3π/4，θ＝0，π/5，2π/5，3π/5，4π/5。由此得到4×5＝20个LoG Gabor滤波器能量响应图，Log Gabor滤波器响应的局部能量定义为在每个尺度间能量的最大值，而每个尺度内的局部能量定义为各方位角对应局部能量之和。

将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后，得到相应的能量响应图，表达式如下：

其中，I(x,y)为参考和失真立体图像对的左视图或右视图，卷积运算；

步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图；

步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移，构造和左视图像素坐标对应的校准右视图I_R((x+d),y)，然后基于步骤(2)得到左视图和校准右视图的能量响应图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)和F_R((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图，d为步骤(3)计算得到的视差图D中对应坐标的视差值；

步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图，利用双目视图融合模型实现对立体图像的图像融合，分别得到参考的和失真的中间图像；双目视图融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (5-1)

其中，CI(x,y)即是双目视图融合后的中间图像，I_L(x,y)和I_R((x+d),y)分别为立体图像对的左视图和校准右视图；

步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图，并对其进行整合，建立整合后的视觉显著性图S_f。

步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，并对失真立体图像对的视差图的失真程度做出度量；采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性，作为反应失真立体图像对在视差图上质量失真程度的指标，表达式如下：

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，E()是均值函数，ε为大于零的常数，防止分母为零，ε＝0.001，Index₁和Index₂是深度特征信息的两个相似性度量指标；

步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征；

将Prewitt算子与被测图像进行卷积处理，得到包含边缘轮廓信息的梯度图，利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下：

其中，f(x,y)为立体图像对的左/右视图，为卷积运算，h_x和h_y是3×3的Prewitt垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘。模板表达式如下：

纹理信息特征的提取采用局部二值模式LBP，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_p是图像的相邻像素点的灰度值，x和y代表中心像素点的坐标值。sgn(x)是阶跃函数。

步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的视觉信息特征，具体表达式如下：

GM_SR(x,y)＝GM_R(x,y)*S_f(x,y) GM_SD(x,y)＝GM_D(x,y)*S_f(x,y) (9-1)

TI_SR(x,y)＝TI_R(x,y)*S_f(x,y) TI_SD(x,y)＝TI_D(x,y)*S_f(x,y) (9-2)

I_SR(x,y)＝I_R(x,y)*S_f(x,y) I_SD(x,y)＝I_D(x,y)*S_f(x,y) (9-3)

其中，GM_R、TI_R和I_R分别是中间参考图像的边缘、纹理和亮度特征信息，GM_D、TI_D和I_D分别是中间失真图像的边缘、纹理和亮度特征信息；S_f为步骤(6)得到的整合后的视觉显著性图；

步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量，表达式如下：

其中，GM_SR、TI_SR和I_SR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征，GM_SD、TI_SD和I_SD表示中间失真图像的显著性增强的边缘、纹理和亮度信息，Index₃、Index₄和Index₅分别代表边缘、纹理和亮度信息特征的相似性度量指标，C₄是一个大于零的常数，其目的是防止分母为零，C₄＝0.5。

步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理，得到L个尺度的中间参考和失真图像，L＝3。对L个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量，总共得到N个相似性度量指标，则N＝2L+2，则，N＝8。

降采样的方法如下：输入一幅图像，通过低通滤波器得到滤波图像，然后对滤波图像进行采样因子为m的降采样处理，m＝2，得到降采样后的图像。

步骤(12).整合步骤(8)和(11)中得到的各个度量指标，进行支持向量机SVR训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。

其中，根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(3)包括如下步骤：

步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移k次，每次移动的步长为s像素点，得到水平右移后的k幅修正右视图I_R((x+i*s),y)，(i＝1,2,…k)，在此s＝1，k＝25。每一幅修正右视图对应的标号为i，(i＝1,2,…k)。

步骤(3.2).利用结构相似度(SSIM)算法分别计算立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图。SSIM算法表达式如下：

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。C₁和C₂为大于零的常数，防止分母为零，在此C₁＝6.5025，C₂＝58.5225。

步骤(3.3).对于左视图的每一个像素点(x,y)，取其k幅结构相似性图中局部结构相似性值最大的一幅，对应标号为i，(i＝1,2,…k)，则i*s为(x,y)像素点对应的视差值，记录为d，从而构建视差图D。

根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(6)具体为：

视觉显著性图提取方法采用谱残差的视觉显著性模型(SR)，具体内容如下：

给定一幅图像I(x,y)，有：

其中，F()和F^-1()为二维傅里叶变换和其反变换，Re()表示取实部运算，Angle()表示取辐角运算，S(x,y)为通过谱残差方法得到的显著性图，g(x,y)是高斯低通滤波器，h_n(f)是局部均值滤波器，其表达式如下：

其中，σ是概率分布中的标准偏差，σ＝1.5；

对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图，按下式所示的方法建立整合后的视觉显著性图；

S_f(x,y)＝Max[S_ref(x,y),S_dis(x,y)] (6-4)

其中，S_ref和S_dis分别为中间参考和失真图像的视觉显著性图，S_f为整合后的视觉显著性图。

根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(12)中进行支持向量机SVR训练预测，获得最佳预测模型具体为：

SVR训练预测方法具体采用5-折交叉验证来训练与测试模型，具体方案如下：

步骤(12.1).将样本随机分为互不相交的五份，选出其中四份进行SVR训练以获得最佳模型，然后将剩余的一份运用到该模型上去，得到相应的客观质量值来对主观质量进行预测；

步骤(12.2).将步骤(12.1)的操作重复进行多次，取所有数据结果平均值来表征所提出模型的性能；

具体表达式如下：

Q＝SVR(Index₁,Index₂,…,Index_n) (12-1)

其中，Q为客观质量评价分数。

Claims (4)

1.一种基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于包括以下步骤：

步骤(1).输入参考立体图像对和失真立体图像对，其中每个立体图像对分别包括左视图和右视图图像；

步骤(2).构建Log Gabor滤波器模型，对步骤(1)中的立体图像对进行卷积运算处理，分别得到参考和失真立体图像对中左右视图的能量响应图；

Log Gabor滤波器的表达式如下：

其中，f₀和θ₀是Log Gabor滤波器的中心频率和方位角，σ_θ和σ_f分别代表滤波器的方位角带宽和径向带宽，f和θ分别代表滤波器的径向坐标和方位角；

将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后，得到相应的能量响应图，表达式如下：

其中，I(x,y)为参考和失真立体图像对的左视图或右视图，为卷积运算；

步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图；

步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移，构造和左视图像素坐标对应的校准右视图I_R((x+d),y)，然后基于步骤(2)得到左视图和校准右视图的能量响应图，计算归一化的左视图权重图W_L(x,y)和校准右视图权重图W_R((x+d),y),具体表达式如下：

其中，F_L(x,y)和F_R((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图，d为步骤(3)计算得到的视差图D中对应坐标的视差值；

步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图，利用双目视图融合模型实现对立体图像的图像融合，分别得到参考的和失真的中间图像；双目视图融合的公式如下：

CI(x,y)＝W_L(x,y)×I_L(x,y)+W_R((x+d),y)×I_R((x+d),y) (5-1)

其中，CI(x,y)即是双目视图融合后的中间图像，I_L(x,y)和I_R((x+d),y)分别为立体图像对的左视图和校准右视图；

步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图，并对其进行整合，建立整合后的视觉显著性图S_f；

步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息，并对失真立体图像对的视差图的失真程度做出度量；采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性，作为反应失真立体图像对在视差图上质量失真程度的指标，表达式如下：

其中，D_ref代表参考图像的视差图，D_dis代表失真图像的视差图，E()是均值函数，ε为大于零的常数，防止分母为零，Index₁和Index₂是深度特征信息的两个相似性度量指标；

步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征；

将Prewitt算子与被测图像进行卷积处理，得到包含边缘轮廓信息的梯度图，利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下：

其中，f(x,y)为立体图像对的左/右视图，为卷积运算，h_x和h_y是3×3的Prewitt垂直模板和水平模板，分别用来检测图像的水平边缘和垂直边缘，模板表达式如下：

纹理信息特征的提取采用局部二值模式LBP，LBP的表达式如下：

其中，g_c是图像的中心像素点的灰度值，g_p是图像的相邻像素点的灰度值，x和y代表中心像素点的坐标值，sgn(x)是阶跃函数；

步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘，得到视觉显著性增强的视觉信息特征，具体表达式如下：

GM_SR(x,y)＝GM_R(x,y)*S_f(x,y) GM_SD(x,y)＝GM_D(x,y)*S_f(x,y) (9-1)

TI_SR(x,y)＝TI_R(x,y)*S_f(x,y) TI_SD(x,y)＝TI_D(x,y)*S_f(x,y) (9-2)

I_SR(x,y)＝I_R(x,y)*S_f(x,y) I_SD(x,y)＝I_D(x,y)*S_f(x,y) (9-3)

其中，GM_R、TI_R和I_R分别是中间参考图像的边缘、纹理和亮度特征信息，GM_D、TI_D和I_D分别是中间失真图像的边缘、纹理和亮度特征信息；S_f为步骤(6)得到的整合后的视觉显著性图；

步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量，表达式如下：

其中，GM_SR、TI_SR和I_SR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征，GM_SD、TI_SD和I_SD表示中间失真图像的显著性增强的边缘、纹理和亮度信息，Index₃、Index₄和Index₅分别代表边缘、纹理和亮度信息特征的相似性度量指标，C₄是一个大于零的常数，其目的是防止分母为零；

步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理，得到L个尺度的中间参考和失真图像，对L个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量，总共得到N个相似性度量指标，则N＝2L+2；

降采样的方法如下：输入一幅图像，通过低通滤波器得到滤波图像，然后对滤波图像进行采样因子为m的降采样处理，得到降采样后的图像；

步骤(12).整合步骤(8)和(11)中得到的各个度量指标，进行支持向量机SVR训练预测，获得最佳预测模型，并映射为图像质量的客观评价分数。

2.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(3)包括如下步骤：

步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移k次，每次移动的步长为s像素点，得到水平右移后的k幅修正右视图I_R((x+i*s),y)，i＝1,2,…k，每一幅修正右视图对应的标号为i，i＝1,2,…k；

步骤(3.2).利用结构相似度算法SSIM分别计算立体图像对中的左视图和k幅修正右视图的结构相似度，得到k幅结构相似性图，SSIM算法表达式如下：

其中，μ_x和μ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值；σ_x和σ_y分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值；σ_xy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差，C₁和C₂为大于零的常数，防止分母为零；

步骤(3.3).对于左视图的每一个像素点(x,y)，取其k幅结构相似性图中局部结构相似性值最大的一幅，对应标号为i，i＝1,2,…k，则i*s为(x,y)像素点对应的视差值，记录为d，从而构建视差图D。

3.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(6)具体为：

视觉显著性图提取方法采用谱残差的视觉显著性模型(SR)，具体内容如下：

给定一幅图像I(x,y)，有：

其中，F()和F^-1()为二维傅里叶变换和其反变换，Re()表示取实部运算，Angle()表示取辐角运算，S(x,y)为通过谱残差方法得到的显著性图，g(x,y)是高斯低通滤波器，h_n(f)是局部均值滤波器，其表达式如下：

其中，σ是概率分布中的标准偏差；

对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图，按下式所示的方法建立整合后的视觉显著性图；

S_f(x,y)＝Max[S_ref(x,y),S_dis(x,y)] (6-4)

其中，S_ref和S_dis分别为中间参考和失真图像的视觉显著性图，S_f为整合后的视觉显著性图。

4.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法，其特征在于所述的步骤(12)中进行支持向量机SVR训练预测，获得最佳预测模型具体为：

SVR训练预测方法具体采用5-折交叉验证来训练与测试模型，具体方案如下：

步骤(12.1).将样本随机分为互不相交的五份，选出其中四份进行SVR训练以获得最佳模型，然后将剩余的一份运用到该模型上去，得到相应的客观质量值来对主观质量进行预测；

步骤(12.2).将步骤(12.1)的操作重复进行多次，取所有数据结果平均值来表征所提出模型的性能；

具体表达式如下：

Q＝SVR(Index₁,Index₂,…,Index_n) (12-1)

其中，Q为客观质量评价分数。