CN108449596B - 一种融合美学和舒适度的3d立体图像质量评估方法 - Google Patents

Abstract

本发明涉及一种融合美学和舒适度的3D立体图像质量评估方法，包括以下步骤：步骤S1：对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1；步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2；步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型；步骤S4：利用训练好的质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数。该方法有利于提高评估结果与用户主观分数的一致性。

Description

一种融合美学和舒适度的3D立体图像质量评估方法

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种融合美学和舒适度的3D立体图像质量评估方法。

背景技术

图像的质量评估算法分为有参考，半参考和无参考的质量评估。其中，无参考的质量评估旨在通过利用图像本身所具有的特征等方式，无需对应的参考图像来进行质量评估。

一张3D立体图像由左右视图组成，这也就使得3D立体图像既具有双目图像的深度特征也包含单目图像的特征。现实生活中，对用户最直观的感受是单目图像的美学特征。Niu等人在评价专业视频的帧画面时提到，专业摄影师对于画面的要求是，较少的主色调数目、适中的色彩饱和度以及平滑的亮度变化范围等。

和普通图像相比，双目图像的立体感来源于左右视图产生视差，从而在人眼视网膜上的成像存在差异，这种空间上的差异就仿佛是人眼在真实世界中看到的立体景观一样。Lambooij等人提出，过度的视差值、一些非自然状态下的模糊、颜色空间的不匹配等都会造成这些视觉不适。在视差中，又分为成像在屏幕前的负视差以及成像在屏幕后的正视差，以及零视差平面。其中，负视差是导致视觉舒适度体验的一个重要影响因素。Shao等人在研究立体图像的视觉舒适度体验中，为了特别分析立体图像中处于较大视差值产生的影响情况，将处于最大和最小的前10％的视差数据单独分析。据我们所知，在距离零视差平面一定范围之内，存在一个视觉舒适区域，处于该区域的视差值符合人眼球的自然调节，也不会存在视觉成像冲突等各方面问题。但是，在拍摄以及后期制作的过程都难免会导致视差数值在这个舒适区范围之外，这使得立体图像的视差范围存在不确定性的变化。

发明内容

本发明的目的在于提供一种融合美学和舒适度的3D立体图像质量评估方法，该方法有利于提高评估结果与用户主观分数的一致性。

为实现上述目的，本发明的技术方案是：一种融合美学和舒适度的3D立体图像质量评估方法，包括以下步骤：

步骤S1：输入训练图像集合、待预测图像集合以及用户对这两个集合中每幅立体图像的主观质量评估分数；对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1；

步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2；

步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型；

步骤S4：利用训练好的质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数。

进一步地，所述步骤S1中，对立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1，包括以下步骤：

步骤S11：对立体图像提取左、右视图在主色调数目、色彩饱和度以及亮度范围三个方面的美学特征，计算公式为：

L_t＝L₀(β*W*H)-L₀((1-β)*W*H+1)

其中，t表示立体图像的左视图或右视图，t＝L表示左视图，t＝R表示右视图；H_t表示t视图的主色调数目；将t视图从RGB颜色空间转换为HSV颜色空间，将H通道数值用n等分的颜色直方图表示，

表示t视图中第j等分的颜色直方图数值，m是颜色直方图中最大等分的数值；α为设定的参数；

表示求解主色调集合，当某一等分的颜色直方图数值大于αm，即m的α倍数时，即认为该等分对应的颜色属于主色调集合；count()表示计算其中的元素个数；S_t表示t视图的色彩饱和度均值；W、H分别表示图像的宽度和高度，S(i,j)表示像素点(i,j)在HSV颜色空间中S通道的数值；L_t表示t视图在CIE LUV颜色空间中L通道的数值，L₀表示将t视图中所有像素点的L通道数值由小到大顺序排序所得到的序列，图像的亮度范围取占所述序列中间β倍的那部分数值范围，β为设定的参数，β∈[0,1]；

步骤S12：计算立体图像左、右视图在美学特征上的一致性特征，计算公式为：

Hc＝|H_L-H_R|,Sc＝|S_L-S_R|,Lc＝|L_L-L_R|

其中，Hc、Sc、Lc分别表示立体图像左、右视图在美学特征上的一致性特征，依次为：主色调数目一致性、色彩饱和度一致性以及亮度范围一致性；此外，利用基于颜色对比度相似度和颜色值差异的图像质量评估方法CSVD计算立体图像左、右视图之间的颜色一致性F_CSVD；

综合步骤S11-S12，得到美学特征集F1＝{H_t,S_t,L_t,Hc,Sc,Lc,F_CSVD}。

进一步地，所述步骤S2中，对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2，包括以下步骤：

步骤S21：利用SIFT Flow密集匹配算法计算立体图像的水平和垂直视差图；在得到的视差图的基础上，从正视差、负视差、视差均值、视差方差多个方面计算舒适度特征；计算公式如下：

其中，

分别表示水平正视差、水平负视差、垂直正视差和垂直负视差；W和H分别表示图像的宽度和高度；V_x(i,j)和V_y(i,j)分别表示立体图像在(i,j)处的水平和垂直视差值；N(Ω+)和N(Ω-)分别表示正视差集合Ω+和负视差集合Ω-中的像素点个数；dd表示视差范围，d_relative表示视差的相对深度；在计算视差均值的基础上，计算各项均值对应的方差，计算公式如下：

其中，

分别表示水平正视差的方差、水平负视差的方差、垂直正视差的方差以及垂直负视差的方差；std(z)表示求解集合z中所有元素的方差；

步骤S22：计算边缘视差特征；计算水平正视差和水平负视差中处于前t％的视差值，计算公式如下：

其中，d_max表示绝对值大于前百分之t的正视差均值，d_min表示绝对值大于前百分之t的负视差均值，

分别表示绝对值在前t％正视差集合

和绝对值在前t％负视差集合

中的像素点个数；

步骤S23：计算空间频率相关特征；分别计算左、右视图的空间频率特征，然后取两者均值来表征立体图像的空间频率，计算公式如下：

其中，fl、fr分别表示左、右视图的空间频率特征，SB_l(i,j)、SB_r(i,j)分别表示左、右视图在(i,j)处利用sobel边缘检测算子计算出的各个像素点的数值；σ₁、σ₂、σ₃分别表示f与视差特征建立的联系特征；

步骤S24：计算视觉舒适区相关特征；计算公式如下：

其中，γ₊表示视网膜可调节成像于屏幕前的视觉舒适区的阈值，γ_-表示视网膜可调节成像于屏幕后的视觉舒适区的阈值，ρ表示瞳孔直径；s表示眼球长度，v表示观看距离；当γ₊和γ_-超出人眼控制范围时，立体图像会产生模糊，增加观看者的疲劳感受；

综合步骤S21-S24，得到舒适度特征集，如下所示：

进一步地，所述步骤S3中，对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型，具体方法为：

融合训练数据集合中所有图像的特征集F1和F2以及由用户对训练图像集合中所有图像的主观质量评估分数得到的标签集L1，组成训练图像集合的特征集T1＝{F1,F2}和标签集L1；使用随机森林回归方法通过特征集T1和标签集L1进行训练，得到立体图像质量评估模型M。

进一步地，所述步骤S4中，融合待预测数据集合中所有图像的特征，组成待预测图像集合的特征集T2＝{F1，F2}，利用步骤S3中训练得到的立体图像质量评估模型，计算得到所有待预测图像的最终质量评估分数。

相较于现有技术，本发明的有益效果是：本发明融合了影响立体图像质量的美学特征和舒适度特征，提出一种融合美学和舒适度的3D立体图像质量评估方法，解决了3D立体图像从单一角度来评估质量的缺点，该方法评估得到的3D立体图像质量分数能够与用户主观分数保持较高的一致性，可用于图像质量评估，图像或者视频分类等领域。

附图说明

图1是本发明方法的流程框图。

图2是本发明实施例中整体方法的实现流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种融合美学和舒适度的3D立体图像质量评估方法，如图1和图2所示，包括以下步骤：

步骤S1：输入训练图像集合、待预测图像集合以及用户对这两个集合中每幅立体图像的主观质量评估分数。对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1。具体包括以下步骤：

步骤S11：对立体图像提取左、右视图在主色调数目、色彩饱和度以及亮度范围三个方面的美学特征，计算公式为：

L_t＝L₀(β*W*H)-L₀((1-β)*W*H+1)

其中，t表示立体图像的左视图或右视图，t＝L表示左视图，t＝R表示右视图；H_t表示t视图的主色调数目；将t视图从RGB颜色空间转换为HSV颜色空间，将H通道数值用n等分的颜色直方图表示(本实施例中n取20)，

表示t视图中第j等分的颜色直方图数值，m是颜色直方图中最大等分的数值；α为设定的参数；

表示求解主色调集合，当某一等分的颜色直方图数值大于αm，即m的α倍数时，即认为该等分对应的颜色属于主色调集合；count()表示计算其中的元素个数；S_t表示t视图的色彩饱和度均值；W、H分别表示图像的宽度和高度，S(i,j)表示像素点(i,j)在HSV颜色空间中S通道的数值；亮度是影响图像质量的一个因素，L_t表示t视图在CIE LUV颜色空间中L通道的数值，L₀表示将t视图中所有像素点的L通道数值由小到大顺序排序所得到的序列，图像的亮度范围取占所述序列中间β倍的那部分数值范围，β为设定的参数，β∈[0,1]；本实施例中，β取90％；

步骤S12：计算立体图像左、右视图在美学特征上的一致性特征，计算公式为：

Hc＝|H_L-H_R|,Sc＝|S_L-S_R|,Lc＝|L_L-L_R|

其中，Hc、Sc、Lc分别表示立体图像左、右视图在美学特征上的一致性特征，依次为：主色调数目一致性、色彩饱和度一致性以及亮度范围一致性；当左、右两视图之间的美学特征差异过大时，会对立体图像的质量产生影响，因此本发明考虑了左、右视图在美学特征上的一致性特征；此外，利用基于颜色对比度相似度和颜色值差异的图像质量评估方法CSVD计算立体图像左、右视图之间的颜色一致性F_CSVD；

综合步骤S11-S12，得到美学特征集F1＝{H_t,S_t,L_t,Hc,Sc,Lc,F_CSVD}。

步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2。具体包括以下步骤：

步骤S21：利用SIFT Flow密集匹配算法计算立体图像中左、右视图之间像素点在水平方向和垂直方向上的移动情况，根据得到的结果得到立体图像的水平和垂直视差图；在得到的视差图的基础上，从正视差、负视差、视差均值、视差方差等多个方面计算舒适度特征；计算公式如下：

其中，

分别表示水平正视差、水平负视差、垂直正视差和垂直负视差；W和H分别表示图像的宽度和高度；V_x(i,j)和V_y(i,j)分别表示立体图像在(i,j)处的水平和垂直视差值；N(Ω⁺)和N(Ω^-)分别表示正视差集合Ω⁺和负视差集合Ω^-中的像素点个数；dd表示视差范围，d_relative表示视差的相对深度；在计算视差均值的基础上，计算各项均值对应的方差，计算公式如下：

其中，

分别表示水平正视差的方差、水平负视差的方差、垂直正视差的方差以及垂直负视差的方差；std(z)表示求解集合z中所有元素的方差；

步骤S22：计算边缘视差特征；由于过大的视差值会使人眼产生不舒适，那些处于较大视差的像素点个数一般不多，但是这部分像素点对观看体验的影响却是无法忽视的，所以本发明计算水平正视差和水平负视差中处于前t％的视差值，计算公式如下：

其中，d_max表示绝对值大于前百分之t的正视差均值，d_min表示绝对值大于前百分之t的负视差均值，

分别表示绝对值在前t％正视差集合

和绝对值在前t％负视差集合

中的像素点个数；

步骤S23：计算空间频率相关特征；立体图像中，空间频率对于双目图像的融合具有重要影响；研究表明空间频率越高对应的双目融合的极限值越小，所以较高的空间频率会限制立体图像在人眼***中的双目融合；双目融合是评估立体图像质量的关键因素；而空间频率是影响双目融合的一项重要特征，因此分别计算左、右视图的空间频率特征，然后取两者均值来表征立体图像的空间频率，计算公式如下：

其中，fl、fr分别表示左、右视图的空间频率特征，SB_l(i,j)、SB_r(i,j)分别表示左、右视图在(i,j)处利用sobel边缘检测算子计算出的各个像素点的数值；σ₁、σ₂、σ₃分别表示f与视差特征建立的联系特征；

步骤S24：计算视觉舒适区相关特征；判断立体图像经过视网膜成像之后是否处于视觉舒适区，是评估立体图像是否是高质量图像的一个重要因素；利用观看距离、视网膜半径等各项参数，视觉舒适区相关特征计算公式如下：

其中，γ₊表示视网膜可调节成像于屏幕前的视觉舒适区的阈值，γ_-表示视网膜可调节成像于屏幕后的视觉舒适区的阈值，ρ表示瞳孔直径；s表示眼球长度，v表示观看距离；当该数值超出人眼控制范围时，立体图像会产生模糊，增加观看者的疲劳感受；

综合步骤S21-S24，得到舒适度特征集，如下所示：

步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型。具体方法为：

融合训练数据集合中所有图像的特征集F1和F2以及由用户对训练图像集合中所有图像的主观质量评估分数得到的标签集L1，组成训练图像集合的特征集T1＝{F1,F2}和标签集L1；使用随机森林回归方法通过特征集T1和标签集L1进行训练，得到立体图像质量评估模型M。

步骤S4：融合待预测数据集合中所有图像的特征，组成待预测图像集合的特征集T2＝{F1，F2}，利用训练好的立体图像质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种融合美学和舒适度的3D立体图像质量评估方法，其特征在于，包括以下步骤：

步骤S1：输入训练图像集合、待预测图像集合以及用户对这两个集合中每幅立体图像的主观质量评估分数；对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1；

步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2；

步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型；

步骤S4：利用训练好的质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数；

所述步骤S1中，对立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1，包括以下步骤：

步骤S11：对立体图像提取左、右视图在主色调数目、色彩饱和度以及亮度范围三个方面的美学特征，计算公式为：

L_t＝L₀(β*W*H)-L₀((1-β)*W*H+1)

其中，t表示立体图像的左视图或右视图，t＝L表示左视图，t＝R表示右视图；H_t表示t视图的主色调数目；将t视图从RGB颜色空间转换为HSV颜色空间，将H通道数值用n等分的颜色直方图表示，

表示t视图中第j等分的颜色直方图数值，m是颜色直方图中最大等分的数值；α为设定的参数；

表示求解主色调集合，当某一等分的颜色直方图数值大于αm，即m的α倍数时，即认为该等分对应的颜色属于主色调集合；count()表示计算其中的元素个数；S_t表示t视图的色彩饱和度均值；W、H分别表示图像的宽度和高度，S(i,j)表示像素点(i,j)在HSV颜色空间中S通道的数值；L_t表示t视图在CIE LUV颜色空间中L通道的数值，L₀表示将t视图中所有像素点的L通道数值由小到大顺序排序所得到的序列，图像的亮度范围取占所述序列中间β倍的那部分数值范围，β为设定的参数，β∈[0,1]；

步骤S12：计算立体图像左、右视图在美学特征上的一致性特征，计算公式为：

Hc＝|H_L-H_R|,Sc＝|S_L-S_R|,Lc＝|L_L-L_R|

其中，Hc、Sc、Lc分别表示立体图像左、右视图在美学特征上的一致性特征，依次为：主色调数目一致性、色彩饱和度一致性以及亮度范围一致性；此外，利用基于颜色对比度相似度和颜色值差异的图像质量评估方法CSVD计算立体图像左、右视图之间的颜色一致性F_CSVD；

综合步骤S11-S12，得到美学特征集F1＝{H_t,S_t,L_t,Hc,Sc,Lc,F_CSVD}；

所述步骤S2中，对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2，包括以下步骤：

步骤S21：利用SIFT Flow密集匹配算法计算立体图像的水平和垂直视差图；在得到的视差图的基础上，从正视差、负视差、视差均值、视差方差多个方面计算舒适度特征；计算公式如下：

dd＝max{V_x(i,j)}-min{V_x(i,j)},

其中，

分别表示水平正视差、水平负视差、垂直正视差和垂直负视差；W和H分别表示图像的宽度和高度；V_x(i,j)和V_y(i,j)分别表示立体图像在(i,j)处的水平和垂直视差值；N(Ω⁺)和N(Ω^-)分别表示正视差集合Ω⁺和负视差集合Ω^-中的像素点个数；dd表示视差范围，d_relative表示视差的相对深度；在计算视差均值的基础上，计算各项均值对应的方差，计算公式如下：

其中，

分别表示水平正视差的方差、水平负视差的方差、垂直正视差的方差以及垂直负视差的方差；std(z)表示求解集合z中所有元素的方差；

步骤S22：计算边缘视差特征；计算水平正视差和水平负视差中处于前t％的视差值，计算公式如下：

其中，d_max表示绝对值大于前百分之t的正视差均值，d_min表示绝对值大于前百分之t的负视差均值，

分别表示绝对值在前t％正视差集合

和绝对值在前t％负视差集合

中的像素点个数；

步骤S23：计算空间频率相关特征；分别计算左、右视图的空间频率特征，然后取两者均值来表征立体图像的空间频率，计算公式如下：

其中，fl、fr分别表示左、右视图的空间频率特征，SB_l(i,j)、SB_r(i,j)分别表示左、右视图在(i,j)处利用sobel边缘检测算子计算出的各个像素点的数值；σ₂、σ₃分别表示f与视差特征建立的联系特征；

步骤S24：计算视觉舒适区相关特征；计算公式如下：

其中，γ₊表示视网膜可调节成像于屏幕前的视觉舒适区的阈值，γ_-表示视网膜可调节成像于屏幕后的视觉舒适区的阈值，ρ表示瞳孔直径；s表示眼球长度，v表示观看距离；当γ₊和γ_-超出人眼控制范围时，立体图像会产生模糊，增加观看者的疲劳感受；

综合步骤S21-S24，得到舒适度特征集，如下所示：

2.根据权利要求1所述的一种融合美学和舒适度的3D立体图像质量评估方法，其特征在于，所述步骤S3中，对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型，具体方法为：

融合训练数据集合中所有图像的特征集F1和F2以及由用户对训练图像集合中所有图像的主观质量评估分数得到的标签集L1，组成训练图像集合的特征集T1＝{F1,F2}和标签集L1；使用随机森林回归方法通过特征集T1和标签集L1进行训练，得到立体图像质量评估模型M。

3.根据权利要求1所述的一种融合美学和舒适度的3D立体图像质量评估方法，其特征在于，所述步骤S4中，融合待预测数据集合中所有图像的特征，组成待预测图像集合的特征集T2＝{F1，F2}，利用步骤S3中训练得到的立体图像质量评估模型，计算得到所有待预测图像的最终质量评估分数。

Images