CN102547368A - 一种立体图像质量客观评价方法 - Google Patents

一种立体图像质量客观评价方法 Download PDF

Info

Publication number
CN102547368A
CN102547368A CN2011104223715A CN201110422371A CN102547368A CN 102547368 A CN102547368 A CN 102547368A CN 2011104223715 A CN2011104223715 A CN 2011104223715A CN 201110422371 A CN201110422371 A CN 201110422371A CN 102547368 A CN102547368 A CN 102547368A
Authority
CN
China
Prior art keywords
picture
distortion
dis
stereo
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104223715A
Other languages
English (en)
Other versions
CN102547368B (zh
Inventor
邵枫
顾珊波
蒋刚毅
郁梅
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201110422371.5A priority Critical patent/CN102547368B/zh
Publication of CN102547368A publication Critical patent/CN102547368A/zh
Application granted granted Critical
Publication of CN102547368B publication Critical patent/CN102547368B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种立体图像质量客观评价方法,首先通过分别提取立体图像的反映图像质量的高斯模糊失真程度的特征矢量、反映图像质量的白噪声失真程度的特征矢量、反映图像质量的JPEG失真程度的特征矢量和反映图像质量的JPEG2000失真程度的特征矢量,得到立体图像的特性矢量,并利用支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试,得到每幅失真的立体图像的客观质量评价预测值,优点在于由于本方法根据不同失真类型对失真的立体图像的影响,通过提取不同失真类型的特征信息并形成立体图像的特征矢量,因此获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况,提高了客观评价结果与主观感知的相关性。

Description

一种立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受到采集***、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量进行评价缺乏有效的客观评价方法。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
目前的立体图像质量客观评价方法是假定原始无失真图像是存在的,这种评价方法是目前比较成熟的评价方法,往往能获得较为满意的评价效果,但是在实际应用中,往往无法获得测试图像的原始无失真图像,因此,对其进行质量评价需要解决以下几方面的问题:1)如何提取反映不同失真程度的立体图像特征来评价立体图像质量,使得特征的大小能正确反映立体图像的失真程度;2)如何提取反映不同失真类型的立体图像特征来评价立体图像质量,使得描述的特征能正确反映各种失真类型的信息。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的立体图像质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sdis为待评价的失真的立体图像,将待评价的失真的立体图像Sdis的左视点图像记为{Ldis(x,y)},将待评价的失真的立体图像Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中像素点的坐标位置,1≤x≤W,1≤y≤H,W表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的宽度,H表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的高度,Ldis(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的梯度直方图,获得待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
③通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有像素点的频谱幅度和所有互不重叠的8×8子块的方差值,获得待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn
④通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的对比度和所有互不重叠的8×8子块的中高频系数均值,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
⑤通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}实施小波变换后得到的各子带的小波系数矩阵的标准差和形状参数,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k
⑥将待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量Fgblur、用于反映图像质量的白噪声失真程度的特征矢量Fwn、用于反映图像质量的JPEG失真程度的特征矢量Fjpeg及用于反映图像质量的JPEG2000失真程度的特征矢量Fjp2k连接起来形成一个新的特征矢量,作为待评价的失真的立体图像Sdis的特征矢量,记为X,X=[Fgblur,Fwn,Fjpeg,Fjp2k],其中,“[]”为矢量表示符号,[Fgblur,Fwn,Fjpeg,Fjp2k]表示将Fgblur、Fwn、Fjpeg和Fjp2k连接起来形成一个新的特征矢量;
⑦采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;
⑧按照步骤①至步骤⑥计算Sdis的特征矢量X的操作,分别计算失真立体图像集合中每幅失真的立体图像的特征矢量,对于失真立体图像集合中的第i幅失真的立体图像的特征矢量,将其记为Xi,其中,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数;
⑨采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练,并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试,计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值,对于失真立体图像集合中的第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),再计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,f()为函数表示形式,Qi=f(Xi)表示Qi为Xi的函数,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数,N≥1。
所述的步骤②的具体过程为:
②-1、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像,记为
Figure BDA0000121034330000041
G dis L ( x , y ) = | G ox L ( x , y ) | + | G oy L ( x , y ) | , 其中,
Figure BDA0000121034330000043
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像中坐标位置为(x,y)的像素点的梯度值,表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,
Figure BDA0000121034330000046
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号;
②-2、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像
Figure BDA0000121034330000047
的梯度直方图,记为{HL(k)|0≤k≤255},然后将{HL(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure BDA0000121034330000048
其中,HL(k)表示中梯度值为k的所有像素点的个数,
Figure BDA00001210343300000410
的维数为256;
②-3、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像,记为
Figure BDA00001210343300000411
G dis R ( x , y ) = | G ox R ( x , y ) | + | G oy R ( x , y ) | , 其中,
Figure BDA00001210343300000413
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像
Figure BDA00001210343300000414
中坐标位置为(x,y)的像素点的梯度值,
Figure BDA00001210343300000415
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,
Figure BDA00001210343300000416
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号;
②-4、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像
Figure BDA00001210343300000417
的梯度直方图,记为{HR(k)|0≤k≤255},然后将{HR(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure BDA00001210343300000418
其中,HR(k)表示
Figure BDA0000121034330000051
中梯度值为k的所有像素点的个数,
Figure BDA0000121034330000052
的维数为256;
②-5、计算待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
Figure BDA0000121034330000053
其中,max()为取最大值函数,Fgblur的维数为256。
所述的步骤③的具体过程为:
③-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}进行傅里叶变换,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像,记为
Figure BDA0000121034330000054
然后计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA0000121034330000055
中的所有像素点的频谱幅度的均值,记为 其中,(x1,y1)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA0000121034330000058
中像素点的坐标位置,1≤x1≤W,1≤y1≤H,表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA00001210343300000510
中坐标位置为(x1,y1)的像素点的频谱幅度,“||”为求绝对值符号;
③-2、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure BDA00001210343300000511
个互不重叠的8×8子块;
③-3、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},然后计算当前子块{fl(x2,y2)}的方差值,记为σl σ l = Σ y 2 = 1 8 Σ x 2 = 1 8 ( f l ( x 2 , y 2 ) - μ l ) 2 / 64 , μ l = Σ y 2 = 1 8 Σ x 2 = 1 8 f l ( x 2 , y 2 ) / 64 , 其中, 1 ≤ l ≤ W × H 8 × 8 , (x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;
③-4、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤③-3继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure BDA0000121034330000061
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合,记为
Figure BDA0000121034330000062
其中,l″的初始值为0;
③-5、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合
Figure BDA0000121034330000063
中所有元素的平均值,记为然后将
Figure BDA0000121034330000065
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure BDA0000121034330000067
其中,的维数为2;
③-6、按照步骤③-1至步骤③-5计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure BDA00001210343300000610
其中,的维数为2;
③-7、计算待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn
Figure BDA00001210343300000612
其中,max()为取最大值函数,Fwn的维数为2。
所述的步骤④的具体过程为:
④-1、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure BDA00001210343300000613
个互不重叠的8×8子块;
④-2、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},其中,(x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;
④-3、对当前子块{fl(x2,y2)}进行余弦离散变换,得到当前子块{fl(x2,y2)}的DCT系数矩阵,记为{Dl(x3,y3)},其中,(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中的DCT系数值的坐标位置,1≤x3≤8,1≤y3≤8,Dl(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(x3,y3)的DCT系数值;
④-4、计算当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}的对比度和中高频系数均值,分别记为λl和ηl λ l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) / D l ( 1,1 ) - 1 ) / 63 , η l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) - D l ( 1,1 ) ) / 63 , 其中,Dl(1,1)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(1,1)的DCT系数值;
④-5、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤④-2继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure BDA0000121034330000073
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合和中高频系数均值集合,分别记为其中,l″的初始值为0;
④-6、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合中所有元素的平均值和中高频系数均值集合
Figure BDA0000121034330000077
中所有元素的平均值,分别记为
Figure BDA0000121034330000078
Figure BDA0000121034330000079
然后将
Figure BDA00001210343300000710
Figure BDA00001210343300000711
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为
Figure BDA00001210343300000712
其中,
Figure BDA00001210343300000713
的维数为2;
④-7、按照步骤④-1至步骤④-6计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为其中,的维数为2;
④-8、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
Figure BDA0000121034330000084
其中,max()为取最大值函数,Fjpeg的维数为2。
所述的步骤⑤的具体过程为:
⑤-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换,得到9个子带的小波系数矩阵,其中,9个子带包括3个水平方向子带、3个垂直方向子带和3个对角方向子带,将{Ldis(x,y)}实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为
Figure BDA0000121034330000085
将{Ldis(x,y)}实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将{Ldis(x,y)}实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为
Figure BDA0000121034330000087
其中,1≤m≤3;
⑤-2、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的标准差,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵
Figure BDA0000121034330000088
的标准差记为
Figure BDA0000121034330000089
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵
Figure BDA00001210343300000810
的标准差记为
Figure BDA00001210343300000811
将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure BDA00001210343300000812
的标准差记为
Figure BDA00001210343300000813
⑤-3、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的形状参数,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵
Figure BDA0000121034330000091
的形状参数记为
Figure BDA0000121034330000092
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵
Figure BDA0000121034330000093
的形状参数记为将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure BDA0000121034330000095
的形状参数记为
⑤-4、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的标准差和形状参数按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为其中,
Figure BDA0000121034330000098
的维数为18;
⑤-5、按照步骤⑤-1至步骤⑤-4计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量
Figure BDA0000121034330000099
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为
Figure BDA00001210343300000910
其中,
Figure BDA00001210343300000911
的维数为18;
⑤-6、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k其中,max()为取最大值函数,Fjp2k的维数为18。
所述的步骤⑨的具体过程为:
⑨-1、随机选择失真立体图像集合中(5×n)/6幅原始的无失真的立体图像对应的相同失真类型的所有的失真的立体图像构成训练样本数据集合,记为Ωq,{Xk′,DMOSk′}∈Ωq,其中,n表示原始的无失真的立体图像的幅数,q表示训练样本数据集合Ωq中包含的失真的立体图像的幅数,Xk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量,DMOSk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的平均主观评分差值,1≤k′≤q;
⑨-2、构造Xk′的回归函数f(Xk′),
Figure BDA00001210343300000913
其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,
Figure BDA0000121034330000101
表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量Xk′的线性函数,
Figure BDA0000121034330000102
D(Xk′,Xl′)为支持向量回归中的核函数,
Figure BDA0000121034330000103
Xl′为训练样本数据集合Ωq中的第l′幅失真的立体图像的特征矢量,γ为核参数,用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,exp()表示以e为底的指数函数,e=2.71828183,“||||”为求欧式距离符号;
⑨-3、采用支持向量回归对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt), ( w opt , b opt ) = arg min ( w , b ) ∈ Ψ Σ k ′ = 1 q ( f ( X k ′ ) - DMOS k ′ ) 2 , 利用得到的最优的权重矢量wopt和最优的偏置项bopt构造支持向量回归训练模型,记为
Figure BDA0000121034330000105
其中,Ψ表示对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,
Figure BDA0000121034330000106
表示最小化概率密度函数,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵,
Figure BDA0000121034330000107
表示支持向量回归训练模型的输入矢量Xinp的线性函数;
⑨-4、根据支持向量回归训练模型,对剩余n/6幅原始的无失真的立体图像对应的相同失真类型的所有失真的立体图像进行测试,预测得到该组子集中的每幅失真的立体图像的客观质量评价预测值,对于该组子集中第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),其中,Xi表示该组子集中第i幅失真的立体图像的特征矢量,
Figure BDA0000121034330000109
表示该组子集中第i幅失真的立体图像的线性函数;
⑨-5、计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,N≥1;
⑨-6、根据步骤⑨-1至步骤⑨-5的过程,对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练,得到失真立体图像集合中每幅失真的立体图像的最终客观质量评价预测值。
与现有技术相比,本发明的优点在于:
1)本发明方法首先通过分别提取立体图像的反映图像质量的高斯模糊失真程度的特征矢量、反映图像质量的白噪声失真程度的特征矢量、反映图像质量的JPEG失真程度的特征矢量和反映图像质量的JPEG2000失真程度的特征矢量,得到立体图像的特性矢量,并利用支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试,得到每幅失真的立体图像的客观质量评价预测值,由于本发明方法根据不同失真类型对失真的立体图像的影响,通过提取不同失真类型的特征信息并形成立体图像的特征矢量,因此获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况,有效提高了客观评价结果与主观感知的相关性。
2)本发明方法提取的立体图像的特征信息无需参考原始的无失真的立体图像,能够得到符合人类视觉***的评价结果,并且提取的特征信息能够反映各种失真类型的信息。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko(尺寸为640×480)立体图像的左视点图像;
图2b为Akko(尺寸为640×480)立体图像的右视点图像;
图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像;
图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像;
图4a为Balloons(尺寸为1024×768)立体图像的左视点图像;
图4b为Balloons(尺寸为1024×768)立体图像的右视点图像;
图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像;
图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像;
图6a为Kendo(尺寸为1024×768)立体图像的左视点图像;
图6b为Kendo(尺寸为1024×768)立体图像的右视点图像;
图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像;
图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像;
图8a为Lovebierd1(尺寸为1024×768)立体图像的左视点图像;
图8b为Lovebierd1(尺寸为1024×768)立体图像的右视点图像;
图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像;
图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像;
图10a为Puppy(尺寸为720×480)立体图像的左视点图像;
图10b为Puppy(尺寸为720×480)立体图像的右视点图像;
图11a为Soccer2(尺寸为720×480)立体图像的左视点图像;
图11b为Soccer2(尺寸为720×480)立体图像的右视点图像;
图12a为Horse(尺寸为720×480)立体图像的左视点图像;
图12b为Horse(尺寸为720×480)立体图像的右视点图像;
图13a为Xmas(尺寸为640×480)立体图像的左视点图像;
图13b为Xmas(尺寸为640×480)立体图像的右视点图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像质量客观评价方法,其总体实现框图如图1所示,其主要包括以下步骤:
①令Sdis为待评价的失真的立体图像,将待评价的失真的立体图像Sdis的左视点图像记为{Ldis(x,y)},将待评价的失真的立体图像Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中像素点的坐标位置,1≤x≤W,1≤y≤H,W表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的宽度,H表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的高度,Ldis(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②由于图像的梯度直方图信息能够较好地反映图像的模糊程度,随着模糊失真程度的增加,图像的梯度直方图的分布越集中在低值端,因此本发明通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的梯度直方图,获得待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
在此具体实施例中,步骤②的具体过程为:
②-1、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像,记为
Figure BDA0000121034330000131
G dis L ( x , y ) = | G ox L ( x , y ) | + | G oy L ( x , y ) | , 其中,
Figure BDA0000121034330000133
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像中坐标位置为(x,y)的像素点的梯度值,
Figure BDA0000121034330000135
表示待评价的失真的立体图像Sdis的左视点图像
Figure BDA0000121034330000136
中坐标位置为(x,y)的像素点的水平梯度值,
Figure BDA0000121034330000137
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号。
②-2、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像的梯度直方图,记为{HL(k)|0≤k≤255},然后将{HL(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure BDA0000121034330000139
其中,HL(k)表示
Figure BDA00001210343300001310
中梯度值为k的所有像素点的个数,
Figure BDA00001210343300001311
的维数为256。
②-3、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像,记为 G dis R ( x , y ) = | G ox R ( x , y ) | + | G oy R ( x , y ) | , 其中,表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像中坐标位置为(x,y)的像素点的梯度值,
Figure BDA00001210343300001316
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,
Figure BDA00001210343300001317
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号。
②-4、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像的梯度直方图,记为{HR(k)|0≤k≤255},然后将{HR(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure BDA0000121034330000142
其中,HR(k)表示
Figure BDA0000121034330000143
中梯度值为k的所有像素点的个数,
Figure BDA0000121034330000144
的维数为256。
②-5、计算待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
Figure BDA0000121034330000145
其中,max()为取最大值函数,Fgblur的维数为256。
③对于白噪声失真图像,随着失真程度的增加,图像的方差值也就比较大,并且图像的频域信息可以很好地衡量白噪声对图像质量的影响,因此本发明通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有像素点的频谱幅度和所有互不重叠的8×8子块的方差值,获得待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn
在此具体实施例中,步骤③的具体过程为:
③-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}进行傅里叶变换,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像,记为
Figure BDA0000121034330000146
然后计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA0000121034330000147
中的所有像素点的频谱幅度的均值,记为
Figure BDA0000121034330000148
Figure BDA0000121034330000149
其中,(x1,y1)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA00001210343300001410
中像素点的坐标位置,1≤x1≤W,1≤y1≤H,
Figure BDA00001210343300001411
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure BDA00001210343300001412
中坐标位置为(x1,y1)的像素点的频谱幅度,“||”为求绝对值符号。
③-2、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure BDA00001210343300001413
个互不重叠的8×8子块。
③-3、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},然后计算当前子块{fl(x2,y2)}的方差值,记为σl σ l = Σ y 2 = 1 8 Σ x 2 = 1 8 ( f l ( x 2 , y 2 ) - μ l ) 2 / 64 , μ l = Σ y 2 = 1 8 Σ x 2 = 1 8 f l ( x 2 , y 2 ) / 64 , 其中, 1 ≤ l ≤ W × H 8 × 8 , (x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值。
③-4、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤③-3继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure BDA0000121034330000154
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合,记为
Figure BDA0000121034330000155
其中,l″的初始值为0。
③-5、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合
Figure BDA0000121034330000156
中所有元素的平均值,记为
Figure BDA0000121034330000157
然后将
Figure BDA0000121034330000158
Figure BDA0000121034330000159
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure BDA00001210343300001510
其中,
Figure BDA00001210343300001511
的维数为2。
③-6、按照步骤③-1至步骤③-5计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量
Figure BDA00001210343300001512
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure BDA00001210343300001513
其中,
Figure BDA00001210343300001514
的维数为2。即计算
Figure BDA00001210343300001515
的具体过程为:a、对待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}进行傅里叶变换,得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的频谱图像,记为然后计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的频谱图像中的所有像素点的频谱幅度的均值,记为
Figure BDA0000121034330000162
Figure BDA0000121034330000163
在此(x1,y1)表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的频谱图像
Figure BDA0000121034330000164
中像素点的坐标位置,1≤x1≤W,1≤y1≤H,
Figure BDA0000121034330000165
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的频谱图像中坐标位置为(x1,y1)的像素点的频谱幅度。b、将待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}划分成
Figure BDA0000121034330000167
个互不重叠的8×8子块。
c、定义待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},然后计算当前子块{fl(x2,y2)}的方差值,记为σl σ l = Σ y 2 = 1 8 Σ x 2 = 1 8 ( f l ( x 2 , y 2 ) - μ l ) 2 / 64 , μ l = Σ y 2 = 1 8 Σ x 2 = 1 8 f l ( x 2 , y 2 ) / 64 , d、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的下一个8×8子块作为当前子块,返回步骤c继续执行,直至待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的方差值集合,记为
Figure BDA00001210343300001611
其中,l″的初始值为0。e、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的方差值集合
Figure BDA00001210343300001612
中所有元素的平均值,记为然后将
Figure BDA00001210343300001614
按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure BDA00001210343300001616
③-7、计算待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn
Figure BDA00001210343300001617
其中,max()为取最大值函数,Fwn的维数为2。
④由于JPEG失真图像采用余弦离散变换(DCT)进行编码,DCT系数矩阵的对比度可以用来衡量JPEG失真对图像感知的影响,而DCT系数矩阵的中高频系数可以用于衡量JPEG失真对图像细节的影响,因此本发明通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的对比度和所有互不重叠的8×8子块的中高频系数均值,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
在此具体实施例中,步骤④的具体过程为:
④-1、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure BDA0000121034330000171
个互不重叠的8×8子块。
④-2、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},其中,(x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值。
④-3、对当前子块{fl(x2,y2)}进行余弦离散变换,得到当前子块{fl(x2,y2)}的DCT系数矩阵,记为{Dl(x3,y3)},其中,(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中的DCT系数值的坐标位置,1≤x3≤8,1≤y3≤8,Dl(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(x3,y3)的DCT系数值。
④-4、计算当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}的对比度和中高频系数均值,分别记为λl和ηl λ l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) / D l ( 1,1 ) - 1 ) / 63 , η l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) - D l ( 1,1 ) ) / 63 , 其中,Dl(1,1)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(1,1)的DCT系数值。
④-5、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤④-2继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure BDA0000121034330000181
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合和中高频系数均值集合,分别记为
Figure BDA0000121034330000182
Figure BDA0000121034330000183
其中,l″的初始值为0。
④-6、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合
Figure BDA0000121034330000184
中所有元素的平均值和中高频系数均值集合
Figure BDA0000121034330000185
中所有元素的平均值,分别记为
Figure BDA0000121034330000186
Figure BDA0000121034330000187
然后将
Figure BDA0000121034330000188
Figure BDA0000121034330000189
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为
Figure BDA00001210343300001810
其中,
Figure BDA00001210343300001811
的维数为2。
④-7、按照步骤④-1至步骤④-6计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量
Figure BDA00001210343300001812
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为其中,
Figure BDA00001210343300001814
的维数为2。即计算
Figure BDA00001210343300001815
的具体过程为:a、将待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}划分成
Figure BDA00001210343300001816
个互不重叠的8×8子块。b、定义待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)}。c、对当前子块{fl(x2,y2)}进行余弦离散变换,得到当前子块{fl(x2,y2)}的DCT系数矩阵,记为{Dl(x3,y3)}。d、计算当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}的对比度和中高频系数均值,分别记为λl和ηl λ l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) / D l ( 1,1 ) - 1 ) / 63 , η l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) - D l ( 1,1 ) ) / 63 , 其中,Dl(1,1)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(1,1)的DCT系数值。e、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的下一个8×8子块作为当前子块,返回步骤b继续执行,直至待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的
Figure BDA0000121034330000191
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的对比度集合和中高频系数均值集合,分别记为
Figure BDA0000121034330000192
Figure BDA0000121034330000193
其中,l″的初始值为0。f、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的对比度集合
Figure BDA0000121034330000194
中所有元素的平均值和中高频系数均值集合
Figure BDA0000121034330000195
中所有元素的平均值,分别记为
Figure BDA0000121034330000196
Figure BDA0000121034330000197
然后将
Figure BDA0000121034330000198
Figure BDA0000121034330000199
按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为
Figure BDA00001210343300001910
④-8、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
Figure BDA00001210343300001911
其中,max()为取最大值函数,Fjpeg的维数为2。
⑤由于JPEG2000失真图像采用小波变换进行编码,各子带的小波系数矩阵的标准差和形状参数可以用来衡量JPEG2000失真对图像质量的影响,因此本发明通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}实施小波变换后得到的各子带的小波系数矩阵的标准差和形状参数,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k
在此具体实施例中,步骤⑤的具体过程为:
⑤-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换,得到9个子带的小波系数矩阵,其中,9个子带包括3个水平方向子带、3个垂直方向子带和3个对角方向子带,将{Ldis(x,y)}实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将{Ldis(x,y)}实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将{Ldis(x,y)}实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为
Figure BDA0000121034330000203
其中,1≤m≤3。
⑤-2、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的标准差,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵的标准差记为
Figure BDA0000121034330000205
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵
Figure BDA0000121034330000206
的标准差记为
Figure BDA0000121034330000207
将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure BDA0000121034330000208
的标准差记为
⑤-3、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的形状参数,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵
Figure BDA00001210343300002010
的形状参数记为
Figure BDA00001210343300002011
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵
Figure BDA00001210343300002012
的形状参数记为
Figure BDA00001210343300002013
将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure BDA00001210343300002014
的形状参数记为
Figure BDA00001210343300002015
⑤-4、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的标准差和形状参数按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为
Figure BDA00001210343300002016
其中,
Figure BDA00001210343300002017
的维数为18。
⑤-5、按照步骤⑤-1至步骤⑤-4计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量
Figure BDA00001210343300002018
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为
Figure BDA0000121034330000211
其中,
Figure BDA0000121034330000212
的维数为18。即计算的具体过程为:a、对待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}实施3级小波变换,得到9个子带的小波系数矩阵。b、分别计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的标准差。c、分别计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的形状参数。d、将待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的标准差和形状参数按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为
Figure BDA0000121034330000214
⑤-6、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k
Figure BDA0000121034330000215
其中,max()为取最大值函数,Fjp2k的维数为18。
⑥将待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量Fgblur、用于反映图像质量的白噪声失真程度的特征矢量Fwn、用于反映图像质量的JPEG失真程度的特征矢量Fjpeg及用于反映图像质量的JPEG2000失真程度的特征矢量Fjp2k连接起来形成一个新的特征矢量,作为待评价的失真的立体图像Sdis的特征矢量,记为X,X=[Fgblur,Fwn,Fjpeg,Fjp2k],其中,“[]”为矢量表示符号,[Fgblur,Fwn,Fjpeg,Fjp2k]表示将Fgblur、Fwn、Fjpeg和Fjp2k连接起来形成一个新的特征矢量。由于H.264编码采用整数DCT变换技术,因此可以采用用于反映图像质量的JPEG失真程度的特征矢量对H.264编码的失真的立体图像进行描述。
⑦采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1。
在本实施例中,利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅(n=12)无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合共包括5种失真类型的312幅失真的立体图像,其中JPEG压缩的失真的立体图像共60幅,JPEG2000压缩的失真的立体图像共60幅,高斯模糊(Gaussian Blur)的失真的立体图像共60幅,白噪声(White Noise)的失真的立体图像共60幅,H.264编码的失真的立体图像共72幅。
由于H.264编码采用整数DCT变换技术,因此可以采用用于反映图像质量的JPEG失真程度的特征矢量对H.264编码的失真的立体图像进行描述。
⑧按照步骤①至步骤⑥计算Sdis的特征矢量X的操作,分别计算失真立体图像集合中每幅失真的立体图像的特征矢量,对于失真立体图像集合中的第i幅失真的立体图像的特征矢量,将其记为Xi,其中,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数。
⑨由于失真的立体图像的特征矢量为高维空间矢量,需要在高维空间中构造线性决策函数来实现原空间中的非线性决策函数,支持向量回归(Support Vector Regression,SVR)是一种比较好的实现非线性高维空间转换的方法。采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练,并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试,计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值,对于失真立体图像集合中的第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),再计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,f()为函数表示形式,Qi=f(Xi)表示Qi为Xi的函数,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数,N≥1。
在此具体实施例中,步骤⑨的具体过程为:
⑨-1、随机选择失真立体图像集合中(5×n)/6幅原始的无失真的立体图像对应的相同失真类型的所有的失真的立体图像构成训练样本数据集合,记为Ωq,{Xk′,DMOSk′}∈Ωq,其中,n表示原始的无失真的立体图像的幅数,q表示训练样本数据集合Ωq中包含的失真的立体图像的幅数,Xk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量,DMOSk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的平均主观评分差值,1≤k′≤q。
⑨-2、构造Xk′的回归函数f(Xk′),
Figure BDA0000121034330000231
其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,
Figure BDA0000121034330000232
表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量Xk′的线性函数,
Figure BDA0000121034330000233
D(Xk′,Xl′)为支持向量回归中的核函数,
Figure BDA0000121034330000234
Xl′为训练样本数据集合Ωq中的第l′幅失真的立体图像的特征矢量,γ为核参数,用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,exp()表示以e为底的指数函数,e=2.71828183,“||||”为求欧式距离符号。
在本实施例中,JPEG压缩失真、JPEG 2000压缩失真、高斯模糊失真、白噪声失真和H.264编码失真的γ值分别取42、52、54、130和116。
⑨-3、采用支持向量回归对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt), ( w opt , b opt ) = arg min ( w , b ) ∈ Ψ Σ k ′ = 1 q ( f ( X k ′ ) - DMOS k ′ ) 2 , 利用得到的最优的权重矢量wopt和最优的偏置项bopt构造支持向量回归训练模型,记为
Figure BDA0000121034330000241
其中,Ψ表示对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,
Figure BDA0000121034330000242
表示最小化概率密度函数,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵,
Figure BDA0000121034330000243
表示支持向量回归训练模型的输入矢量Xinp的线性函数。
⑨-4、根据支持向量回归训练模型,对剩余n/6幅原始的无失真的立体图像对应的相同失真类型的所有失真的立体图像进行测试,预测得到该组子集中的每幅失真的立体图像的客观质量评价预测值,对于该组子集中第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),
Figure BDA0000121034330000244
其中,Xi表示该组子集中第i幅失真的立体图像的特征矢量,
Figure BDA0000121034330000245
表示该组子集中第i幅失真的立体图像的线性函数。
⑨-5、计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,N≥1,在本实施例中,取N=1000。
⑨-6、根据步骤⑨-1至步骤⑨-5的过程,对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练,得到失真立体图像集合中每幅失真的立体图像的最终客观质量评价预测值。
采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的312幅失真的立体图像来分析本实施例得到的失真的立体图像的客观图像质量评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)、Spearman相关系数(Rank-Order Correlation Coefficient,ROCC),异常值比率指标(Outlier Ratio,OR),均方根误差(Root Mean Squared Error,RMSE),CC反映失真的立体图像评价客观模型的准确性,ROCC反映其单调性,OR反映其离散程度,RMSE反映模型预测的准确性。将按本实施例计算得到的失真的立体图像的客观图像评价质量预测值做四参数Logistic函数非线性拟合,CC和ROCC值越高、OR和RMSE值越小说明客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的CC、ROCC、OR、RMSE系数如表1所示,从表1所列的数据可知,按本实施例得到的失真的立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
表1本实施例得到的失真的立体图像的客观质量评价预测值与平均主观评分差值之间的相关性

Claims (6)

1.一种立体图像质量客观评价万法,其特征在于包括以下步骤:
①令Sdis为待评价的失真的立体图像,将待评价的失真的立体图像Sdis的左视点图像记为{Ldis(x,y)},将待评价的失真的立体图像Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中像素点的坐标位置,1≤x≤W,1≤y≤H,W表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的宽度,H表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的高度,Ldis(x,y)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}的梯度直方图,获得待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
③通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有像素点的频谱幅度和所有互不重叠的8×8子块的方差值,获得待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn
④通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}中的所有互不重叠的8×8子块的对比度和所有互不重叠的8×8子块的中高频系数均值,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
⑤通过分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}和右视点图像{Rdis(x,y)}实施小波变换后得到的各子带的小波系数矩阵的标准差和形状参数,获得待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k
⑥将待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量Fgblur、用于反映图像质量的白噪声失真程度的特征矢量Fwn、用于反映图像质量的JPEG失真程度的特征矢量Fjpeg及用于反映图像质量的JPEG2000失真程度的特征矢量Fjp2k连接起来形成一个新的特征矢量,作为待评价的失真的立体图像Sdis的特征矢量,记为X,X=[Fgblur,Fwn,Fjpeg,Fjp2k],其中,“[]”为矢量表示符号,[Fgblur,Fwn,Fjpeg,Fjp2k]表示将Fgblur、Fwn、Fjpeg和Fjp2k连接起来形成一个新的特征矢量;
⑦采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;
⑧按照步骤①至步骤⑥计算Sdis的特征矢量X的操作,分别计算失真立体图像集合中每幅失真的立体图像的特征矢量,对于失真立体图像集合中的第i幅失真的立体图像的特征矢量,将其记为Xi,其中,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数;
⑨采用支持向量回归对失真立体图像集合中相同失真类型的所有的失真的立体图像的特征矢量进行训练,并利用训练得到的支持向量回归训练模型对同一失真类型的每幅失真的立体图像进行测试,计算得到失真立体图像集合中相同失真类型的每幅失真的立体图像的客观质量评价预测值,对于失真立体图像集合中的第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),再计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,f()为函数表示形式,Qi=f(Xi)表示Qi为Xi的函数,1≤i≤n′,n′表示失真立体图像集合中包含的失真的立体图像的幅数,N≥1。
2.根据权利要求1所述的一种立体图像质量客观评价方法,其特征在于所述的步骤②的具体过程为:
②-1、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像,记为
Figure FDA0000121034320000031
G dis L ( x , y ) = | G ox L ( x , y ) | + | G oy L ( x , y ) | , 其中,表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像
Figure FDA0000121034320000034
中坐标位置为(x,y)的像素点的梯度值,
Figure FDA0000121034320000035
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,
Figure FDA0000121034320000036
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号;
②-2、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的梯度图像
Figure FDA0000121034320000037
的梯度直方图,记为{HL(k)|0≤k≤255},然后将{HL(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure FDA0000121034320000038
其中,HL(k)表示
Figure FDA0000121034320000039
中梯度值为k的所有像素点的个数,
Figure FDA00001210343200000310
的维数为256;
②-3、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像,记为 G dis R ( x , y ) = | G ox R ( x , y ) | + | G oy R ( x , y ) | , 其中,
Figure FDA00001210343200000313
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像中坐标位置为(x,y)的像素点的梯度值,
Figure FDA00001210343200000315
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,
Figure FDA00001210343200000316
表示待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值,“||”为求绝对值符号;
②-4、计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的梯度图像
Figure FDA00001210343200000317
的梯度直方图,记为{HR(k)|0≤k≤255},然后将{HR(k)|0≤k≤255}中的所有元素按顺序进行排列得到待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的高斯模糊失真程度的特征矢量,记为
Figure FDA0000121034320000041
其中,HR(k)表示
Figure FDA0000121034320000042
中梯度值为k的所有像素点的个数,
Figure FDA0000121034320000043
的维数为256;
②-5、计算待评价的失真的立体图像Sdis的用于反映图像质量的高斯模糊失真程度的特征矢量,记为Fgblur
Figure FDA0000121034320000044
其中,max()为取最大值函数,Fgblur的维数为256。
3.根据权利要求1或2所述的一种立体图像质量客观评价方法,其特征在于所述的步骤③的具体过程为:
③-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}进行傅里叶变换,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像,记为
Figure FDA0000121034320000045
然后计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure FDA0000121034320000046
中的所有像素点的频谱幅度的均值,记为
Figure FDA0000121034320000047
Figure FDA0000121034320000048
其中,(x1,y1)表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure FDA0000121034320000049
中像素点的坐标位置,1≤x1≤W,1≤y1≤H,
Figure FDA00001210343200000410
表示待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的频谱图像
Figure FDA00001210343200000411
中坐标位置为(x1,y1)的像素点的频谱幅度,“||”为求绝对值符号;
③-2、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure FDA00001210343200000412
个互不重叠的8×8子块;
③-3、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},然后计算当前子块{fl(x2,y2)}的方差值,记为σl σ l = Σ y 2 = 1 8 Σ x 2 = 1 8 ( f l ( x 2 , y 2 ) - μ l ) 2 / 64 , μ l = Σ y 2 = 1 8 Σ x 2 = 1 8 f l ( x 2 , y 2 ) / 64 , 其中, 1 ≤ l ≤ W × H 8 × 8 , (x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;
③-4、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤③-3继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure FDA0000121034320000051
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合,记为
Figure FDA0000121034320000052
其中,l″的初始值为0;
③-5、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的方差值集合
Figure FDA0000121034320000053
中所有元素的平均值,记为然后将
Figure FDA0000121034320000055
Figure FDA0000121034320000056
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure FDA0000121034320000057
其中,
Figure FDA0000121034320000058
的维数为2;
③-6、按照步骤③-1至步骤③-5计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量
Figure FDA0000121034320000059
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的白噪声失真程度的特征矢量,记为
Figure FDA00001210343200000510
其中,
Figure FDA00001210343200000511
的维数为2;
③-7、计算待评价的失真的立体图像Sdis的用于反映图像质量的白噪声失真程度的特征矢量,记为Fwn其中,max()为取最大值函数,Fwn的维数为2。
4.根据权利要求3所述的一种立体图像质量客观评价方法,其特征在于所述的步骤④的具体过程为:
④-1、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}划分成
Figure FDA00001210343200000513
个互不重叠的8×8子块;
④-2、定义待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的第l个8×8子块为当前子块,记为{fl(x2,y2)},其中,
Figure FDA0000121034320000061
(x2,y2)表示当前子块{fl(x2,y2)}中像素点的坐标位置,1≤x2≤8,1≤y2≤8,fl(x2,y2)表示当前子块{fl(x2,y2)}中坐标位置为(x2,y2)的像素点的像素值;
④-3、对当前子块{fl(x2,y2)}进行余弦离散变换,得到当前子块{fl(x2,y2)}的DCT系数矩阵,记为{Dl(x3,y3)},其中,(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中的DCT系数值的坐标位置,1≤x3≤8,1≤y3≤8,Dl(x3,y3)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(x3,y3)的DCT系数值;
④-4、计算当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}的对比度和中高频系数均值,分别记为λl和ηl λ l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) / D l ( 1,1 ) - 1 ) / 63 , η l = ( Σ y 3 = 1 8 Σ x 3 = 1 8 D l ( x 3 , y 3 ) - D l ( 1,1 ) ) / 63 , 其中,Dl(1,1)表示当前子块{fl(x2,y2)}的DCT系数矩阵{Dl(x3,y3)}中坐标位置为(1,1)的DCT系数值;
④-5、令l″=l+1,l=l″,将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的下一个8×8子块作为当前子块,返回步骤④-2继续执行,直至待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的
Figure FDA0000121034320000064
个互不重叠的8×8子块均处理完毕,得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合和中高频系数均值集合,分别记为
Figure FDA0000121034320000065
Figure FDA0000121034320000066
其中,l″的初始值为0;
④-6、计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}中的所有互不重叠的8×8子块的对比度集合
Figure FDA0000121034320000067
中所有元素的平均值和中高频系数均值集合
Figure FDA0000121034320000071
中所有元素的平均值,分别记为
Figure FDA0000121034320000073
然后将
Figure FDA0000121034320000075
按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为
Figure FDA0000121034320000076
其中,
Figure FDA0000121034320000077
的维数为2;
④-7、按照步骤④-1至步骤④-6计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量
Figure FDA0000121034320000078
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG失真程度的特征矢量,记为
Figure FDA0000121034320000079
其中,的维数为2;
④-8、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG失真程度的特征矢量,记为Fjpeg
Figure FDA00001210343200000711
其中,max()为取最大值函数,Fjpeg的维数为2。
5.根据权利要求4所述的一种立体图像质量客观评价方法,其特征在于所述的步骤⑤的具体过程为:
⑤-1、对待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换,得到9个子带的小波系数矩阵,其中,9个子带包括3个水平方向子带、3个垂直方向子带和3个对角方向子带,将{Ldis(x,y)}实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为
Figure FDA00001210343200000712
将{Ldis(x,y)}实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为
Figure FDA00001210343200000713
将{Ldis(x,y)}实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为
Figure FDA00001210343200000714
其中,1≤m≤3;
⑤-2、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的标准差,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵
Figure FDA00001210343200000715
的标准差记为
Figure FDA00001210343200000716
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵的标准差记为将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure FDA0000121034320000081
的标准差记为
Figure FDA0000121034320000082
⑤-3、分别计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的小波系数矩阵的形状参数,其中,将{Ldis(x,y)}实施3级小波变换后得到的第m个水平方向子带的小波系数矩阵的形状参数记为
Figure FDA0000121034320000084
将{Ldis(x,y)}实施3级小波变换后得到的第m个垂直方向子带的小波系数矩阵
Figure FDA0000121034320000085
的形状参数记为
Figure FDA0000121034320000086
将{Ldis(x,y)}实施3级小波变换后得到的第m个对角方向子带的小波系数矩阵
Figure FDA0000121034320000087
的形状参数记为
Figure FDA0000121034320000088
⑤-4、将待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}实施3级小波变换后得到的3个水平方向子带、3个垂直方向子带、3个对角方向子带的标准差和形状参数按顺序进行排列得到待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为
Figure FDA0000121034320000089
其中,
Figure FDA00001210343200000810
的维数为18;
⑤-5、按照步骤⑤-1至步骤⑤-4计算待评价的失真的立体图像Sdis的左视点图像{Ldis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量
Figure FDA00001210343200000811
的操作,计算待评价的失真的立体图像Sdis的右视点图像{Rdis(x,y)}的用于反映图像质量的JPEG2000失真程度的特征矢量,记为其中,
Figure FDA00001210343200000813
的维数为18;
⑤-6、计算待评价的失真的立体图像Sdis的用于反映图像质量的JPEG2000失真程度的特征矢量,记为Fjp2k
Figure FDA00001210343200000814
其中,max()为取最大值函数,Fjp2k的维数为18。
6.根据权利要求5所述的一种立体图像质量客观评价方法,其特征在于所述的步骤⑨的具体过程为:
⑨-1、随机选择失真立体图像集合中(5×n)/6幅原始的无失真的立体图像对应的相同失真类型的所有的失真的立体图像构成训练样本数据集合,记为Ωq,{Xk′,DMOSk′}∈Ωq,其中,n表示原始的无失真的立体图像的幅数,q表示训练样本数据集合Ωq中包含的失真的立体图像的幅数,Xk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量,DMOSk′表示训练样本数据集合Ωq中的第k′幅失真的立体图像的平均主观评分差值,1≤k′≤q;
⑨-2、构造Xk′的回归函数f(Xk′),
Figure FDA0000121034320000091
其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项,
Figure FDA0000121034320000092
表示训练样本数据集合Ωq中的第k′幅失真的立体图像的特征矢量Xk′的线性函数,
Figure FDA0000121034320000093
D(Xk′,Xl′)为支持向量回归中的核函数,Xl′为训练样本数据集合Ωq中的第l′幅失真的立体图像的特征矢量,γ为核参数,用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,exp()表示以e为底的指数函数,e=2.71828183,“||||”为求欧式距离符号;
⑨-3、采用支持向量回归对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的组合记为(wopt,bopt), ( w opt , b opt ) = arg min ( w , b ) ∈ Ψ Σ k ′ = 1 q ( f ( X k ′ ) - DMOS k ′ ) 2 , 利用得到的最优的权重矢量wopt和最优的偏置项bopt构造支持向量回归训练模型,记为
Figure FDA0000121034320000096
其中,Ψ表示对训练样本数据集合Ωq中的所有的失真的立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,
Figure FDA0000121034320000097
表示最小化概率密度函数,Xinp表示支持向量回归训练模型的输入矢量,(wopt)T为wopt的转置矩阵,
Figure FDA0000121034320000098
表示支持向量回归训练模型的输入矢量Xinp的线性函数;
⑨-4、根据支持向量回归训练模型,对剩余n/6幅原始的无失真的立体图像对应的相同失真类型的所有失真的立体图像进行测试,预测得到该组子集中的每幅失真的立体图像的客观质量评价预测值,对于该组子集中第i幅失真的立体图像的客观质量评价预测值,将其记为Qi,Qi=f(Xi),
Figure FDA0000121034320000101
其中,Xi表示该组子集中第i幅失真的立体图像的特征矢量,
Figure FDA0000121034320000102
表示该组子集中第i幅失真的立体图像的线性函数;
⑨-5、计算经过N次迭代的每幅失真的立体图像的客观质量评价预测值的平均值,并将计算得到的平均值作为对应那幅失真的立体图像的最终客观质量评价预测值,其中,N≥1;
⑨-6、根据步骤⑨-1至步骤⑨-5的过程,对失真立体图像集合中不同失真类型的所有的失真的立体图像进行训练,得到失真立体图像集合中每幅失真的立体图像的最终客观质量评价预测值。
CN201110422371.5A 2011-12-16 2011-12-16 一种立体图像质量客观评价方法 Expired - Fee Related CN102547368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110422371.5A CN102547368B (zh) 2011-12-16 2011-12-16 一种立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110422371.5A CN102547368B (zh) 2011-12-16 2011-12-16 一种立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN102547368A true CN102547368A (zh) 2012-07-04
CN102547368B CN102547368B (zh) 2014-05-07

Family

ID=46353125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110422371.5A Expired - Fee Related CN102547368B (zh) 2011-12-16 2011-12-16 一种立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN102547368B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982532A (zh) * 2012-10-31 2013-03-20 宁波大学 一种基于矩阵分解的立体图像客观质量评价方法
CN102999911A (zh) * 2012-11-27 2013-03-27 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN103281556A (zh) * 2013-05-13 2013-09-04 宁波大学 一种基于图像分解的立体图像质量客观评价方法
CN103491375A (zh) * 2013-05-29 2014-01-01 东南大学 基于binDCT算法的JPEG压缩***
CN104361583A (zh) * 2014-10-27 2015-02-18 浙江科技学院 一种非对称失真立体图像客观质量评价方法
CN104658002A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考图像客观质量评价方法
CN105225222A (zh) * 2014-06-26 2016-01-06 西门子公司 对不同图像集的感知视觉质量的自动评估
CN105282543A (zh) * 2015-10-26 2016-01-27 浙江科技学院 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN106127741A (zh) * 2016-06-17 2016-11-16 西安电子科技大学 基于改良自然场景统计模型的无参考图像质量评价方法
CN107945154A (zh) * 2017-11-10 2018-04-20 西安电子科技大学 基于四元数离散余弦变换的彩色图像质量评价方法
CN110415207A (zh) * 2019-04-30 2019-11-05 杭州电子科技大学 一种基于图像失真类型的图像质量评估的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶小琼: "《基于失真效应的图像质量评价与分类》", 《华中科技大学2011年硕士学位论文》, 1 January 2011 (2011-01-01), pages 7 - 29 *
杨春玲,陈冠豪,谢胜利: "《基于梯度信息的图像质量评判方法的研究》", 《电子学报》, 30 July 2007 (2007-07-30), pages 1313 - 1317 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982532A (zh) * 2012-10-31 2013-03-20 宁波大学 一种基于矩阵分解的立体图像客观质量评价方法
CN102982532B (zh) * 2012-10-31 2015-06-17 宁波大学 一种基于矩阵分解的立体图像客观质量评价方法
CN102999911A (zh) * 2012-11-27 2013-03-27 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN102999911B (zh) * 2012-11-27 2015-06-03 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN103281556A (zh) * 2013-05-13 2013-09-04 宁波大学 一种基于图像分解的立体图像质量客观评价方法
CN103491375A (zh) * 2013-05-29 2014-01-01 东南大学 基于binDCT算法的JPEG压缩***
CN103491375B (zh) * 2013-05-29 2018-11-02 东南大学 基于binDCT算法的JPEG压缩***
CN105225222A (zh) * 2014-06-26 2016-01-06 西门子公司 对不同图像集的感知视觉质量的自动评估
CN104361583A (zh) * 2014-10-27 2015-02-18 浙江科技学院 一种非对称失真立体图像客观质量评价方法
CN104658002B (zh) * 2015-03-10 2017-03-22 浙江科技学院 一种无参考图像客观质量评价方法
CN104658002A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考图像客观质量评价方法
CN105282543A (zh) * 2015-10-26 2016-01-27 浙江科技学院 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN105357519B (zh) * 2015-12-02 2017-05-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN106127741A (zh) * 2016-06-17 2016-11-16 西安电子科技大学 基于改良自然场景统计模型的无参考图像质量评价方法
CN106127741B (zh) * 2016-06-17 2019-01-15 西安电子科技大学 基于改良自然场景统计模型的无参考图像质量评价方法
CN107945154A (zh) * 2017-11-10 2018-04-20 西安电子科技大学 基于四元数离散余弦变换的彩色图像质量评价方法
CN110415207A (zh) * 2019-04-30 2019-11-05 杭州电子科技大学 一种基于图像失真类型的图像质量评估的方法

Also Published As

Publication number Publication date
CN102547368B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN102547368B (zh) 一种立体图像质量客观评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN104902267B (zh) 一种基于梯度信息的无参考图像质量评价方法
CN105208374A (zh) 一种基于深度学习的无参考图像质量客观评价方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN104202594B (zh) 一种基于三维小波变换的视频质量评价方法
CN104376565A (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN102945552A (zh) 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN105338343A (zh) 一种基于双目感知的无参考立体图像质量评价方法
CN102572499B (zh) 基于小波变换多分辨率预测的无参考图像质量评价方法
CN103338379B (zh) 一种基于机器学习的立体视频客观质量评价方法
CN102843572B (zh) 一种基于相位的立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN105049838A (zh) 一种用于压缩立体视频质量的客观评价方法
CN103517065A (zh) 一种质降参考立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN104811691A (zh) 一种基于小波变换的立体视频质量客观评价方法
CN103354617B (zh) 一种基于dct域的边缘强度压缩的图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN104240248A (zh) 一种无参考立体图像质量客观评价方法
CN105654465A (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN106412571A (zh) 一种基于梯度相似性标准差的视频质量评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法
CN107018410A (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140507

Termination date: 20171216

CF01 Termination of patent right due to non-payment of annual fee