CN102708567A - 一种基于视觉感知的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于视觉感知的立体图像质量客观评价方法，其首先通过计算立体图像的左右视点图像中的每个像素点的局部相位特征和局部振幅特征以获得每个像素点的客观评价度量值，并通过区域检测方法将立体图像划分为遮挡区域、双目抑制区域、双目融合区域，然后对各个区域分别进行评价并对各评价结果进行融合得到最终的图像质量客观评价预测值，优点在于获得的反映局部相位和局部振幅特征信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况，提出遮挡区域、双目抑制区域和双目融合区域的图像质量评价方法能够很好地反映人类视觉***的视觉感知特性，有效地提高客观评价结果与主观感知的相关性。

Description

一种基于视觉感知的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于视觉感知的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集***、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

目前的立体图像质量客观评价方法直接将平面图像质量评价方法直接应用于评价立体图像质量，然而，对立体图像的左右视点图像进行融合产生立体感的过程并不是简单的左右视点图像叠加的过程，还难以用简单的数学方法来表示，因此，如何在立体图像质量评价过程中有效地对双目立体融合进行模拟，如何根据人眼的视觉掩蔽特性对客观评价结果进行调制，使得客观评价结果更加感觉符合人类视觉***，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于视觉感知的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于视觉感知的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出{L_dis(x,y)}的双目最小可察觉变化图像和{R_dis(x,y)}的双目最小可察觉变化图像，分别记为

和

其中，

表示{L_dis(x,y)}的双目最小可察觉变化图像

中坐标位置为(x,y)的像素点的像素值，

表示{R_dis(x,y)}的双目最小可察觉变化图像

中坐标位置为(x,y)的像素点的像素值；

③利用区域检测算法，分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2,3}，p=1表示遮挡区域，p=2表示双目抑制区域，p=3表示双目融合区域；然后将{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为

将{L_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为将{L_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为将{R_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为将{R_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为

将{R_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为

④分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，将{L_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{R_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{L_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{R_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为和

其中，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，

表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，

表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，

表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征；

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_L(x,y)}， $Q_L(x,y)=w_{\mathrm{LP}}\×S_L^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_L^{\mathrm{LA}}(x,y)+b,$ 根据{R_org(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{R_dis(x,y)}中的每个像素点的客观评价度量值，将{R^dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_R(x,y)}， $Q_R(x,y)=w_{\mathrm{LP}}\×S_R^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_R^{\mathrm{LA}}(x,y)+b,$ 其中，Q_L(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_L^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_L^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_L^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_L^{\mathrm{dis}}{(x,y)}^2+T_2},$ Q_R(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_R^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_R^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_R^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_R^{\mathrm{dis}}{(x,y)}^2+T_2},$ w_LP、w_LA和b为训练参数，T₁和T₂为控制参数；

⑥根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对遮挡区域的视觉感知特性，计算S_dis中的遮挡区域的客观评价度量值，记为Q_nc， $Q_{\mathrm{nc}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_L(x,y)+\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_R(x,y)}{N_L^{\mathrm{nc}}+N_R^{\mathrm{nc}}},$ 其中，

表示{L_dis(x,y)}中区域类型为p=1的像素点的个数，

表示{R_dis(x,y)}中区域类型为p=1的像素点的个数；

⑦根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目抑制区域的视觉感知特性，计算S_dis中的双目抑制区域的客观评价度量值，记为Q_bs， $Q_{\mathrm{bs}}=\max (Q_L^{\mathrm{bs}},Q_R^{\mathrm{bs}}),$ 其中，max()为取最大值函数， $Q_L^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))};$

⑧根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目融合区域的视觉感知特性，计算S_dis中的双目融合区域的客观评价度量值，记为Q_bf， $Q_{\mathrm{bf}}=0.7\×(Q_L^{\mathrm{bf}}+Q_R^{\mathrm{bf}}),$ 其中， $Q_L^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))};$

⑨对S_dis中的遮挡区域的客观评价度量值Q_nc、S_dis中的双目抑制区域的客观评价度量值Q_bs和S_dis中的双目融合区域的客观评价度量值Q_bf进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=w_nc×Q_nc+w_bs×Q_bs+w_bf×Q_bf，其中，w_nc、w_bf和w_bs为加权参数。

所述的步骤②的具体过程为：

②-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，

其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

②-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07；

②-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为

$J_L^{\mathrm{dis}}(x,y)=T_l(x,y)+T_c(x,y);$

②-4、计算{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_r(x,y)}，

其中，T_r(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_r(x,y)表示{R_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

②-5、计算{R_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c′(x,y)}，T_c′(x,y)=K(bg_r(x,y))+eh_r(x,y)，其中，T_c′(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_r(x,y)表示对{R_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_r(x,y))=-10^-6×(0.7×bg_r(x,y)²+32×bg_r(x,y))+0.07；

②-6、对{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_r(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c′(x,y)}进行融合，得到{R_dis(x,y)}的双目最小可察觉变化图像，记为

$J_R^{\mathrm{dis}}(x,y)=T_r(x,y)+T_{c^{\′}}(x,y).$

所述的步骤③中利用区域检测算法分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型的具体过程为：

③-1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-2、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-3、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否为255，如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-6，否则，执行步骤③-4，其中，1≤x₁≤W,1≤y₁≤H；

③-4、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否大于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-6，否则，执行步骤③-5；

③-5、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否小于或等于

中坐标位置为(x1,y1)的像素点的像素值

如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3；

③-6、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕；

③-7、采用块匹配法计算{R_org(x,y)}与{L_org(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；

③-8、采用块匹配法计算{R_dis(x,y)}与{L_dis(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-9、判断

中坐标位置为(x₁,y₁)的像素点的像素值是否为255，如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-12，否则，执行步骤③-10，其中，1≤x₁≤W,1≤y₁≤H；

③-10、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否大于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-12，否则，执行步骤③-11；

③-11、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否小于或等于

中坐标位置为(x₁,y₁)的像素点的像素值如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3；

③-12、返回步骤③-9继续确定{R_dis(x,y)}中剩余的像素点的区域类型，直至{R_dis(x,y)}中的所有像素点的区域类型确定完毕。

所述的步骤④中{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征的获取过程为：

④-1、对{L_org(x,y)}中的每个像素点进行相位一致性变换，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α，θ(x,y)，其中，α表示滤波器的尺度因子，1≤α≤4，θ表示滤波器的方向因子，1≤θ≤4；

④-2、计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y);$

④-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征，分别对应记为

和 ${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ ${\mathrm{LA}}_L^{\mathrm{org}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $A_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y)=\sqrt{e_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2+o_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2},$

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数；

④-4、按照步骤④-1至步骤④-3获取{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到不同区域对立体感知有不同的响应，将立体图像划分为遮挡区域、双目抑制区域和双目融合区域并分别进行评价，并对各评价结果进行融合得到最终的评价分值，使得评价结果更加感觉符合人类视觉***。

2）本发明方法通过计算立体图像的左右视点图像中的每个像素点的局部相位特征和局部振幅特征，以获取每个像素点的客观评价度量值，由于获得的局部相位特征和局部振幅特征具有较强的稳定性且能够较好地反映立体图像的质量变化情况，因此有效地提高了客观评价结果与主观感知的相关性。

3）本发明方法根据人眼的立体视觉特性得到双目最小可察觉变化图像，对遮挡区域、双目抑制区域和双目融合区域中的每个像素点的客观评价度量值进行不同程度的加权，使得评价结果更加感觉符合人类视觉***，提高客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Puppy（尺寸为720×480）立体图像的左视点图像；

图10b为Puppy（尺寸为720×480）立体图像的右视点图像；

图11a为Soccer2（尺寸为720×480）立体图像的左视点图像；

图11b为Soccer2（尺寸为720×480）立体图像的右视点图像；

图12a为Horse（尺寸为720×480）立体图像的左视点图像；

图12b为Horse（尺寸为720×480）立体图像的右视点图像；

图13a为Xmas（尺寸为640×480）立体图像的左视点图像；

图13b为Xmas（尺寸为640×480）立体图像的右视点图像；

图14为失真立体图像集合中各个失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于视觉感知的立体图像质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②人类视觉特性表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或噪声的变化强度超过某一阈值，该阈值就是最小可察觉失真（Just noticeabledifference，JND）。然而人眼的视觉掩蔽效应是一种局部效应，其受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出{L_dis(x,y)}的双目最小可察觉变化图像和{R_dis(x,y)}的双目最小可察觉变化图像，分别记为

和

其中，表示{L_dis(x,y)}的双目最小可察觉变化图像

中坐标位置为(x,y)的像素点的像素值，

表示{R_dis(x,y)}的双目最小可察觉变化图像中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤②的具体过程为：

②-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。

②-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07。

②-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为

$J_L^{\mathrm{dis}}(x,y)=T_l(x,y)+T_c(x,y).$

②-4、计算{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_r(x,y)}，

其中，T_r(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_r(x,y)表示{R_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。

②-5、计算{R_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c′(x,y)}，T_c′(x,y)=K(bg_r(x,y))+eh_r(x,y)，其中，T_c′(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_r(x,y)表示对{R_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_r(x,y))=-10^-6×(0.7×bg_r(x,y)²+32×bg_r(x,y))+0.07。

②-6、对{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_r(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c′(x,y)}进行融合，得到{R_dis(x,y)}的双目最小可察觉变化图像，记为

$J_R^{\mathrm{dis}}(x,y)=T_r(x,y)+T_{c^{\′}}(x,y).$

③利用区域检测算法，分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2,3}，p=1表示遮挡区域，p=2表示双目抑制区域，p=3表示双目融合区域；然后将{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为

将{L_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为将{L_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为

将{R_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为

将{R_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为

将{R_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为

在此具体实施例中，步骤③中利用区域检测算法分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型的具体过程为：

③-1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

其中，表示

中坐标位置为(x,y)的像素点的像素值。

③-2、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值。

③-3、判断中坐标位置为(x₁,y₁)的像素点的像素值是否为255，如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-6，否则，执行步骤③-4，其中，1≤x₁≤W,1≤y₁≤H。

③-4、判断

中坐标位置为(x₁,y₁)的像素点的像素值是否大于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-6，否则，执行步骤③-5。

③-5、判断中坐标位置为(x₁,y₁)的像素点的像素值

是否小于或等于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3。

③-6、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕。

③-7、采用块匹配法计算{R_org(x,y)}与{L_org(x,y)}之间的视差图像，记为

其中，表示

中坐标位置为(x,y)的像素点的像素值。

③-8、采用块匹配法计算{R_dis(x,y)}与{L_dis(x,y)}之间的视差图像，记为其中，

表示

中坐标位置为(x,y)的像素点的像素值。

③-9、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否为255，如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-12，否则，执行步骤③-10，其中，1≤x₁≤W,1≤y₁≤H。

③-10、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否大于

中坐标位置为(x₁,y₁)的像素点的像素值如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-12，否则，执行步骤③-11。

③-11、判断中坐标位置为(x₁,y₁)的像素点的像素值

是否小于或等于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3。

③-12、返回步骤③-9继续确定{R_dis(x,y)}中剩余的像素点的区域类型，直至{R_dis(x,y)}中的所有像素点的区域类型确定完毕。

在此，块匹配法采用现有的经典的块匹配法，其基本思想是将图像分成小块，对左视点图像（右视点图像）的每一小块，在右视点图像（左视点图像）中寻找相关性最大的小块，两个小块之间的空间位移量就是视差。

④分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，将{L_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{R_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{L_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{R_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为和

其中，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，

表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征。

在此具体实施例中，步骤④中{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征的获取过程为：

④-1、对{L_org(x,y)}中的每个像素点进行相位一致性变换，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α，θ(x,y)，其中，α表示滤波器的尺度因子，1≤α≤4，θ表示滤波器的方向因子，1≤θ≤4。

④-2、计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y).$

④-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征，分别对应记为

和

${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ ${\mathrm{LA}}_L^{\mathrm{org}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $A_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y)=\sqrt{e_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2+o_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2},$ 表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数。

④-4、按照步骤④-1至步骤④-3获取{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征。

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_L(x,y)}， $Q_L(x,y)=w_{\mathrm{LP}}\×S_L^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_L^{\mathrm{LA}}(x,y)+b,$ 根据{R_org(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{R_dis(x,y)}中的每个像素点的客观评价度量值，将{R_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_R(x,y)}， $Q_R(x,y)=w_{\mathrm{LP}}\×S_R^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_R^{\mathrm{LA}}(x,y)+b,$ 其中，Q_L(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_L^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_L^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_L^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_L^{\mathrm{dis}}{(x,y)}^2+T_2},$ Q_R(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_R^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_R^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_R^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_R^{\mathrm{dis}}{(x,y)}^2+T_2},$ w_LP、w_LA和b为训练参数，T₁和T₂为控制参数。

在此具体实施例中，根据局部相位特征和局部振幅特征对立体图像质量变化的不同影响，取w_LP=0.9834、w_LA=0.2915、b=0，取T₁=0.85、T₂=160。

⑥遮挡区域主要是由失真的立体图像中视差匹配不成功的像素所构成的，包括左视点图像的遮挡区域和右视点图像的遮挡区域，人类视觉特性***对该遮挡区域的感知主要是单目视觉起主要作用。因此本发明根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对遮挡区域的视觉感知特性，计算S_dis中的遮挡区域的客观评价度量值，记为Q_nc， $Q_{\mathrm{nc}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_L(x,y)+\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_R(x,y)}{N_L^{\mathrm{nc}}+N_R^{\mathrm{nc}}},$ 其中，

表示{L_dis(x,y)}中区域类型为p=1的像素点的个数，

表示{R_dis(x,y)}中区域类型为p=1的像素点的个数。

⑦人类视觉***特性表明，如果左右眼视网膜对应区域的图像内容差异较大或者两者之间的视差值较大，则人类视觉***往往无法进行对两眼冲突的信息进行双目融合操作，转至双目掩蔽处理，在双目掩蔽处理过程中，质量高的视点往往会抑制低质量的视点。因此本发明根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目抑制区域的视觉感知特性，计算S_dis中的双目抑制区域的客观评价度量值，记为Q_bs，

其中，max()为取最大值函数， $Q_L^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))}.$

⑧人类视觉特性表明，如果左右眼视网膜对应区域的图像内容差异较小，则人类视觉***会对该区域进行双目叠加（融合）操作，从而导致双眼对该区域的视觉敏感度是单眼的1.4倍。因此本发明根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目融合区域的视觉感知特性，计算S_dis中的双目融合区域的客观评价度量值，记为Q_bf， $Q_{\mathrm{bf}}=0.7\×(Q_L^{\mathrm{bf}}+Q_R^{\mathrm{bf}}),$ 其中， $Q_L^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))}.$

⑨对S_dis中的遮挡区域的客观评价度量值Q_nc、S_dis中的双目抑制区域的客观评价度量值Q_bs和S_dis中的双目融合区域的客观评价度量值Q_bf进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=w_nc×Q_nc+w_bs×Q_bs+w_bf×Q_bf，其中，w_nc、w_bf和w_bs为加权参数。在此具体实施例中，取w_nc=0.1163、w_bf=0.4119和w_bs=0.4718。

在本实施例中，利用图2a和图2b、图3a和图3b、图4a和图4b、图5a和图5b、图6a和图6b、图7a和图7b、图8a和图8b、图9a和图9b、图10a和图10b、图11a和图11b、图12a和图12b、图13a和图13b所示的12幅无失真的立体图像建立其在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的312幅失真的立体图像来分析通过本发明方法得到的失真的立体图像S_dis的图像质量客观评价预测值与平均主观评分差值之间的相关性,其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊（Gaussian Blur）的失真的立体图像共60幅，白噪声（White Noise）的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。并利用现有的主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]。

在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC），Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)，均方误差（root mean squarederror，RMSE），PLCC和RMSE反映失真的立体图像评价客观模型的准确性，SROCC和KROCC反映其单调性。将按本发明方法计算得到的失真的立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高，RMSE值越低说明客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的PLCC、SROCC、KROCC和RMSE系数如表1所示，从表1所列的数据可知，按本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14给出了失真立体图像集合中各个失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观模型与主观感知的一致性越好。从图14中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的相关性

Claims (4)

1.一种基于视觉感知的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，分别提取出{L_dis(x,y)}的双目最小可察觉变化图像和{R_dis(x,y)}的双目最小可察觉变化图像，分别记为

和其中，

表示{L_dis(x,y)}的双目最小可察觉变化图像

中坐标位置为(x,y)的像素点的像素值，

表示{R_dis(x,y)}的双目最小可察觉变化图像

中坐标位置为(x,y)的像素点的像素值；

③利用区域检测算法，分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2,3}，p=1表示遮挡区域，p=2表示双目抑制区域，p=3表示双目融合区域；然后将{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为

将{L_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为

将{L_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为

将{R_dis(x,y)}中的所有区域类型为p=1的像素点构成的遮挡区域记为

将{R_dis(x,y)}中的所有区域类型为p=2的像素点构成的双目抑制区域记为

将{R_dis(x,y)}中的所有区域类型为p=3的像素点构成的双目融合区域记为

④分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，将{L_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{R_org(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

将{L_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为和

将{R_dis(x,y)}中的所有像素点的局部相位特征和局部振幅特征分别用集合表示为

和

其中，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{R_org(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，

表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征，表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，

表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部振幅特征；

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_L(x,y)}， $Q_L(x,y)=w_{\mathrm{LP}}\×S_L^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_L^{\mathrm{LA}}(x,y)+b,$ 根据{R_org(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征，计算{R_dis(x,y)}中的每个像素点的客观评价度量值，将{R_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_R(x,y)}， $Q_R(x,y)=w_{\mathrm{LP}}\×S_R^{\mathrm{LP}}(x,y)+w_{\mathrm{LA}}\×S_R^{\mathrm{LA}}(x,y)+b,$ 其中，Q_L(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_L^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_L^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_L^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_L^{\mathrm{dis}}{(x,y)}^2+T_2},$ Q_R(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值， $S_R^{\mathrm{LP}}(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ $S_R^{\mathrm{LA}}(x,y)=\frac{2\×{\mathrm{LA}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LA}}_R^{\mathrm{dis}}(x,y)+T_2}{{\mathrm{LA}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LA}}_R^{\mathrm{dis}}{(x,y)}^2+T_2},$ w_LP、w_LA和b为训练参数，T₁和T₂为控制参数；

⑥根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对遮挡区域的视觉感知特性，计算S_dis中的遮挡区域的客观评价度量值，记为Q_nc， $Q_{\mathrm{nc}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_L(x,y)+\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{nc}}}{\mathrm{\Σ}}{Q}_R(x,y)}{N_L^{\mathrm{nc}}+N_R^{\mathrm{nc}}},$ 其中，

表示{L_dis(x,y)}中区域类型为p=1的像素点的个数，

表示{R_dis(x,y)}中区域类型为p=1的像素点的个数；

⑦根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目抑制区域的视觉感知特性，计算S_dis中的双目抑制区域的客观评价度量值，记为Q_bs， $Q_{\mathrm{bs}}=\max (Q_L^{\mathrm{bs}},Q_R^{\mathrm{bs}}),$ 其中，max()为取最大值函数， $Q_L^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bs}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bs}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))};$

⑧根据{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型，并利用人类视觉***对双目融合区域的视觉感知特性，计算S_dis中的双目融合区域的客观评价度量值，记为Q_bf， $Q_{\mathrm{bf}}=0.7\×(Q_L^{\mathrm{bf}}+Q_R^{\mathrm{bf}}),$ 其中， $Q_L^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_L(x,y)\×(1/J_L^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_L^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_L^{\mathrm{dis}}(x,y))},$ $Q_R^{\mathrm{bf}}=\frac{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}{Q}_R(x,y)\×(1/J_R^{\mathrm{dis}}(x,y))}{\underset{(x,y)\∈{\mathrm{\Ω}}_R^{\mathrm{bf}}}{\mathrm{\Σ}}(1/J_R^{\mathrm{dis}}(x,y))};$

⑨对S_dis中的遮挡区域的客观评价度量值Q_nc、S_dis中的双目抑制区域的客观评价度量值Q_bs和S_dis中的双目融合区域的客观评价度量值_Qbf进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=w_nc×Q_nc+w_bs×Q_bs+w_bf×Q_bf，其中，w_nc、w_bf和w_bs为加权参数。

2.根据权利要求1所述的一种基于视觉感知的立体图像质量客观评价方法，其特征在于所述的步骤②的具体过程为：

②-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，

其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

②-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07；

②-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为 $J_L^{\mathrm{dis}}(x,y)=T_l(x,y)+T_c(x,y);$

②-4、计算{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_r(x,y)}，

其中，T_r(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_r(x,y)表示{R_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

②-5、计算{R_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c′(x,y)}，T_c′(x,y)=K(bg_r(x,y))+eh_r(x,y)，其中，T_c′(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_r(x,y)表示对{R_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_r(x,y))=-10^-6×(0.7×bg_r(x,y)²+32×bg_r(x,y))+0.07；

②-6、对{R_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_r(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c′(x,y)}进行融合，得到{R_dis(x,y)}的双目最小可察觉变化图像，记为

$J_R^{\mathrm{dis}}(x,y)=T_r(x,y)+T_{c^{\′}}(x,y).$

3.根据权利要求1或2所述的一种基于视觉感知的立体图像质量客观评价方法，其特征在于所述的步骤③中利用区域检测算法分别获取{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的区域类型的具体过程为：

③-1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-2、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-3、判断

中坐标位置为(x₁,y₁)的像素点的像素值是否为255，如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-6，否则，执行步骤③-4，其中，1≤x₁≤W,1≤y₁≤H；

③-4、判断中坐标位置为(x₁,y₁)的像素点的像素值

是否大于中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-6，否则，执行步骤③-5；

③-5、判断中坐标位置为(x1,y1)的像素点的像素值

是否小于或等于中坐标位置为(x₁,y₁)的像素点的像素值如果是，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3；

③-6、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕；

③-7、采用块匹配法计算{R_org(x,y)}与{L_org(x,y)}之间的视差图像，记为其中，

表示中坐标位置为(x,y)的像素点的像素值；

③-8、采用块匹配法计算{R_dis(x,y)}与{L_dis(x,y)}之间的视差图像，记为其中，

表示

中坐标位置为(x,y)的像素点的像素值；

③-9、判断

中坐标位置为(x₁,y₁)的像素点的像素值是否为255，如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，然后执行步骤③-12，否则，执行步骤③-10，其中，1≤x₁≤W,1≤y₁≤H；

③-10、判断

中坐标位置为(x₁,y₁)的像素点的像素值是否大于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，然后执行步骤③-12，否则，执行步骤③-11；

③-11、判断

中坐标位置为(x₁,y₁)的像素点的像素值

是否小于或等于

中坐标位置为(x₁,y₁)的像素点的像素值

如果是，则将{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=3；

③-12、返回步骤③-9继续确定{R_dis(x,y)}中剩余的像素点的区域类型，直至{R_dis(x,y)}中的所有像素点的区域类型确定完毕。

4.根据权利要求3所述的一种基于视觉感知的立体图像质量客观评价方法，其特征在于所述的步骤④中{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征的获取过程为：

④-1、对{L_org(x,y)}中的每个像素点进行相位一致性变换，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α，θ(x,y)，其中，α表示滤波器的尺度因子，1≤α≤4，θ表示滤波器的方向因子，1≤θ≤4；

④-2、计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y);$

④-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征和局部振幅特征，分别对应记为

和

${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ ${\mathrm{LA}}_L^{\mathrm{org}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $A_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y)=\sqrt{e_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2+o_{\mathrm{\α},{\mathrm{\θ}}_m}{(x,y)}^2},$

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数；

④-4、按照步骤④-1至步骤④-3获取{L_org(x,y)}中的每个像素点的局部相位特征和局部振幅特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征和局部振幅特征。

Images