CN102708568B - 一种基于结构失真的立体图像客观质量评价方法 - Google Patents

一种基于结构失真的立体图像客观质量评价方法 Download PDF

Info

Publication number
CN102708568B
CN102708568B CN201210145034.0A CN201210145034A CN102708568B CN 102708568 B CN102708568 B CN 102708568B CN 201210145034 A CN201210145034 A CN 201210145034A CN 102708568 B CN102708568 B CN 102708568B
Authority
CN
China
Prior art keywords
mrow
msub
org
dis
munderover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210145034.0A
Other languages
English (en)
Other versions
CN102708568A (zh
Inventor
蒋刚毅
毛香英
王晓东
郁梅
周俊明
彭宗举
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210145034.0A priority Critical patent/CN102708568B/zh
Publication of CN102708568A publication Critical patent/CN102708568A/zh
Application granted granted Critical
Publication of CN102708568B publication Critical patent/CN102708568B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于结构失真的立体图像客观质量评价方法,其首先分别对无失真的立体图像和失真的立体图像的左右视点图像进行区域划分,得到人眼敏感区域和相应的非敏感区域,然后从结构幅值失真和结构方向失真两方面分别得出敏感区域和非敏感区域的评价指标;其次获取左右视点图像质量评价值;再次采样奇异值差异和剥夺奇异值后的残余图像的均值偏差率来衡量立体图像的深度感知的畸变情况,从而获得立体感知质量的评价值;最后结合左右视点图像质量和立体感知质量,得到立体图像的最终质量评价结果,由于本发明方法避免模拟人眼视觉***的各个组成部分,而充分利用了立体图像的结构信息,因此有效地提高了客观评价结果与主观感知的一致性。

Description

一种基于结构失真的立体图像客观质量评价方法
技术领域
本发明涉及一种图像质量评价技术,尤其是涉及一种基于结构失真的立体图像客观质量评价方法。
背景技术
立体图像质量评价在立体图像/视频***中占据着十分重要的地位,不仅能够评判立体图像/视频***中处理算法的优劣,而且还能优化和设计该算法,以提高立体图像/视频处理***的效率。立体图像质量评价方法主要分为两类:主观质量评价和客观质量评价。主观质量评价方法就是把多名观察者对待评价立体图像的质量进行加权平均的综合评价,其结果符合人眼视觉***特性,但是其受到计算不便、速度慢、成本高等诸多因素的限制,导致嵌入***难,因而在实际应用中无法得到广泛推广。而客观质量评价方法具有操作简单、成本低、易于实现及实时优化算法等特点,成为立体图像质量评价研究的重点。
目前,主流的立体图像客观质量评价模型包括左右视点图像质量评价和深度感知质量评价两部分。但是,由于人类对人眼视觉***的认识有限,难以准确地模拟人眼的各个组成部分,因此这些模型与主观感知之间的一致性不是很好。
发明内容
本发明所要解决的技术问题是提供一种基于结构失真的立体图像客观质量评价方法,其能够有效提高立体图像客观质量评价结果与主观感知之间的一致性。
本发明解决上述技术问题所采用的技术方案为:一种基于结构失真的立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点灰度图像记为Lorg,将原始的无失真的立体图像Sorg的右视点灰度图像记为Rorg,将待评价的失真的立体图像Sdis的左视点灰度图像记为Ldis,将待评价的失真的立体图像Sdis的右视点灰度图像记为Rdis
②对Lorg和Ldis、Rorg和Rdis4幅图像分别实施区域划分,分别得到Lorg和Ldis、Rorg和Rdis4幅图像各自对应的敏感区域矩阵映射图,将Lorg和Ldis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AL,对于AL中坐标位置为(i,j)处的系数值,将其记为AL(i,j),将Rorg和Rdis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AR,对于AR中坐标位置为(i,j)处的系数值,将其记为AR(i,j),其中,此处0≤i≤(W-8),0≤j≤(H-8),W表示Lorg、Ldis、Rorg和Rdis的宽,H表示Lorg、Ldis、Rorg和Rdis的高;
③将Lorg和Ldis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BL,对于BL中坐标位置为(i,j)处的系数值,将其记为BL(i,j), B L ( i , j ) = 2 × σ org , dis , L ( i , j ) + C 1 ( σ org , L ( i , j ) ) 2 + ( σ dis , L ( i , j ) ) 2 + C 1 , 其中,BL(i,j)亦表示Lorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Ldis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L org ( i + x , j + y ) - U org , L ( i , j ) ) 2 , U org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L org ( i + x , j + y ) , σ dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) 2 , U dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L dis ( i + x , j + y ) , σ org , dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( L org ( i + x , j + y ) - U org , L ( i , j ) ) × ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) ) , Lorg(i+x,j+y)表示Lorg中坐标位置为(i+x,j+y)的像素点的像素值,Ldis(i+x,j+y)表示Ldis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,此处0≤i≤(W-8),0≤j≤(H-8);
将Rorg和Rdis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BR,对于BR中坐标位置为(i,j)处的系数值,将其记为BR(i,j), B R ( i , j ) = 2 × σ org , dis , R ( i , j ) + C 1 ( σ org , R ( i , j ) ) 2 + ( σ dis , R ( i , j ) ) 2 + C 1 , 其中,BR(i,j)亦表示Rorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Rdis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R org ( i + x , j + y ) - U org , R ( i , j ) ) 2 , U org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R org ( i + x , j + y ) , σ dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) 2 , U dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R dis ( i + x , j + y ) , σ org , dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( R org ( i + x , j + y ) - U org , R ( i , j ) ) × ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) ) , Rorg(i+x,j+y)表示Rorg中坐标位置为(i+x,j+y)的像素点的像素值,Rdis(i+x,j+y)表示Rdis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,此处0≤i≤(W-8),0≤j≤(H-8);
④对Lorg和Ldis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Lorg和Ldis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Lorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,L,对于Ih,org,L中坐标位置为(i,j)处的系数值,将其记为Ih,org,L(i,j), I h , org , L ( i , j ) = L org ( i + 2 , j ) + 2 L org ( i + 2 , j + 1 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i , j + 1 ) - L org ( i , j + 2 ) , 将Lorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,L,对于Iv,org,L中坐标位置为(i,j)处的系数值,将其记为Iv,org,L(i,j), I v , org , L ( i , j ) = L org ( i , j + 2 ) + 2 L org ( i + 1 , j + 2 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i + 1 , j ) - L org ( i + 2 , j ) , 将Ldis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,L,对于Ih,dis,L中坐标位置为(i,j)处的系数值,将其记为Ih,dis,L(i,j), I h , dis , L ( i , j ) = L dis ( i + 2 , j ) + 2 L dis ( i + 2 , j + 1 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i , j + 1 ) - L dis ( i , j + 2 ) , 将Ldis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,L,对于Iv,dis,L中坐标位置为(i,j)处的系数值,将其记为Iv,dis,L(i,j), I v , dis , L ( i , j ) = L dis ( i , j + 2 ) + 2 L dis ( i + 1 , j + 2 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i + 1 , j ) - L dis ( i + 2 , j ) , 其中,Lorg(i+2,j)、Lorg(i+2,j+1)、Lorg(i+2,j+2)、Lorg(i,j)、Lorg(i,j+1)、Lorg(i,j+2)、Lorg(i+1,j+2)、Lorg(i+1,j)分别对应表示Lorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Ldis(i+2,j)、Ldis(i+2,j+1)、Ldis(i+2,j+2)、Ldis(i,j)、Ldis(i,j+1)、Ldis(i,j+2)、Ldis(i+1,j+2)、Ldis(i+1,j)分别对应表示Ldis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值;
对Rorg和Rdis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Rorg和Rdis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Rorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,R,对于Ih,org,R中坐标位置为(i,j)处的系数值,将其记为Ih,org,R(i,j), I h , org , R ( i , j ) = R org ( i + 2 , j ) + 2 R org ( i + 2 , j + 1 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i , j + 1 ) - R org ( i , j + 2 ) , 将Rorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,R,对于Iv,org,R中坐标位置为(i,j)处的系数值,将其记为Iv,org,R(i,j), I v , org , R ( i , j ) = R org ( i , j + 2 ) + 2 R org ( i + 1 , j + 2 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i + 1 , j ) - R org ( i + 2 , j ) , 将Rdis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,R,对于Ih,dis,R中坐标位置为(i,j)处的系数值,将其记为Ih,dis,R(i,j), I h , dis , R ( i , j ) = R dis ( i + 2 , j ) + 2 R dis ( i + 2 , j + 1 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i , j + 1 ) - R dis ( i , j + 2 ) , 将Rdis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,R,对于Iv,dis,R中坐标位置为(i,j)处的系数值,将其记为Iv,dis,R(i,j), I v , dis , R ( i , j ) = R dis ( i , j + 2 ) + 2 R dis ( i + 1 , j + 2 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i + 1 , j ) - R dis ( i + 2 , j ) , 其中,Rorg(i+2,j)、Rorg(i+2,j+1)、Rorg(i+2,j+2)、Rorg(i,j)、Rorg(i,j+1)、Rorg(i,j+2)、Rorg(i+1,j+2)、Rorg(i+1,j)分别对应表示Rorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Rdis(i+2,j)、Rdis(i+2,j+1)、Rdis(i+2,j+2)、Rdis(i,j)、Rdis(i,j+1)、Rdis(i,j+2)、Rdis(i+1,j+2)、Rdis(i+1,j)分别对应表示Rdis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值;
⑤计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为EL,对于EL中坐标位置为(i,j)处的系数值,将其记为EL(i,j), E L ( i , j ) = I h , org , L ( i , j ) × I h , dis , L ( i , j ) + I v , org , L ( i , j ) × I v , dis , L ( i , j ) + C 2 ( I h , org , L ( i , j ) ) 2 + ( I v , org , L ( i , j ) ) 2 × ( I h , dis , L ( i , j ) ) 2 + ( I v , dis , L ( i , j ) ) 2 + C 2 , 其中,C2表示常数;
计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为ER,对于ER中坐标位置为(i,j)处的系数值,将其记为ER(i,j), E R ( i , j ) = I h , org , R ( i , j ) × I h , dis , R ( i , j ) + I v , org , R ( i , j ) × I v , dis , R ( i , j ) + C 2 ( I h , org , R ( i , j ) ) 2 + ( I v , org , R ( i , j ) ) 2 × ( I h , dis , R ( i , j ) ) 2 + ( I v , dis , R ( i , j ) ) 2 + C 2 ;
⑥计算Lorg和Ldis的结构失真评价值,记为QL,QL=ω1×Qm,L2×Qnm,L Q m , L = 1 N L , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × A L ( i , j ) ) , N L , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A L ( i , j ) , Q nm , L = 1 N L , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × ( 1 - A L ( i , j ) ) ) , N L , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A L ( i , j ) ) , 其中,ω1表示Lorg和Ldis中敏感区域的权重值,ω2表示Lorg和Ldis中非敏感区域的权重值;
计算Rorg和Rdis的结构失真评价值,记为QR,QR=ω'1×Qm,R+ω'2×Qnm,R Q m , R = 1 N R , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × A R ( i , j ) ) , N R , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A R ( i , j ) , Q nm , R = 1 N R , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × ( 1 - A R ( i , j ) ) ) , N R , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A R ( i , j ) ) , 其中,ω'1表示Rorg和Rdis中敏感区域的权重值,ω'2表示Rorg和Rdis中非敏感区域的权重值;
⑦根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=β1×QL+(1-β1)×QR,其中,β1表示QL的权值;
⑧计算Lorg和Rorg的绝对差值图像,以矩阵形式表示为 计算Ldis和Rdis的绝对差值图像,以矩阵形式表示为 其中,“||”为取绝对值符号;
⑨将幅图像分别分割成个互不重叠的尺寸大小为8×8的块,然后对幅图像中的所有块分别实施奇异值分解,得到对应的由其每个块的奇异值矩阵组成的奇异值映射图和对应的由其每个块的奇异值矩阵组成的奇异值映射图,将实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gorg,对于Gorg中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gdis,对于Gdis中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为其中,WLR表示的宽,HLR表示的高,0≤p≤7,0≤q≤7;
⑩计算对应的奇异值映射图和对应的奇异值映射图的奇异值偏差评价值,记为K, K = 64 W LR × H LR × Σ n = 0 W LR × H LR / 64 - 1 Σ p = 0 7 ( G org n ( p , p ) × | G org n ( p , p ) - G dis n ( p , p ) | ) Σ p = 0 7 G org n ( p , p ) , 其中,表示Gorg中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值,表示Gdis中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值;
分别实施奇异值分解,分别得到各自对应的2个正交矩阵和1个奇异值矩阵,将实施奇异值分解后得到的2个正交矩阵分别记为χorg和Vorg,将实施奇异值分解后得到的奇异值矩阵记为Oorg实施奇异值分解后得到的2个正交矩阵分别记为χdis和Vdis,将实施奇异值分解后得到的奇异值矩阵记为Odis
分别计算幅图像剥夺奇异值后的残留矩阵图,将剥夺奇异值后的残留矩阵图记为Xorg,Xorg=χorg×Λ×Vorg,将剥夺奇异值后的残留矩阵图记为Xdis,Xdis=χdis×Λ×Vdis,其中,Λ表示单位矩阵,Λ的大小与Oorg和Odis的大小一致;
计算Xorg和Xdis的均值偏差率,记为 其中,x表示Xorg和Xdis中的像素点的横坐标,y表示Xorg和Xdis中的像素点的纵坐标;
计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS其中,τ表示常数,用于调节K和在QS中所起的重要性;
根据QF和QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)ρ,其中,ρ表示权重系数值。
所述的步骤②中Lorg和Ldis各自对应的敏感区域矩阵映射图的系数矩阵AL的获取过程为:
②-a1、对Lorg作水平及垂直方向Sobel算子处理,得到Lorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l1和Zv,l1,然后计算Lorg的梯度幅值图,记为Zl1其中,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zh,l1(x,y)表示Zh,l1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l1(x,y)表示Zv,l1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl1的宽,H'表示Zl1的高;
②-a2、对Ldis作水平及垂直方向Sobel算子处理,得到Ldis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l2和Zv,l2,然后计算Ldis的梯度幅值图,记为Zl2其中,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值,Zh,l2(x,y)表示Zh,l2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l2(x,y)表示Zv,l2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl2的宽,H'表示Zl2的高;
②-a3、计算划分区域时所需的阈值T, T = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z l 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z l 2 ( x , y ) ) , 其中,α为常数,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值;
②-a4、将Zl1中坐标位置为(i,j)的像素点的梯度幅值记为Zl1(i,j),将Zl2中坐标位置为(i,j)的像素点的梯度幅值记为Zl2(i,j),判断Zl1(i,j)>T或Zl2(i,j)>T是否成立,如果成立,则确定Lorg和Ldis中坐标位置为(i,j)的像素点属于敏感区域,并令AL(i,j)=1,否则,确定Lorg和Ldis中坐标位置为(i,j)的像素点属于非敏感区域,并令AL(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8);
所述的步骤②中Rorg和Rdis各自对应的敏感区域矩阵映射图的系数矩阵AR的获取过程为:
②-b1、对Rorg作水平及垂直方向Sobel算子处理,得到Rorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r1和Zv,r1,然后计算Rorg的梯度幅值图,记为Zr1其中,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zh,r1(x,y)表示Zh,r1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r1(x,y)表示Zv,r1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr1的宽,H'表示Zr1的高;
②-b2、对Rdis作水平及垂直方向Sobel算子处理,得到Rdis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r2和Zv,r2,然后计算Rdis的梯度幅值图,记为Zr2其中,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值,Zh,r2(x,y)表示Zh,r2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r2(x,y)表示Zv,r2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr2的宽,H'表示Zr2的高;
②-b3、计算划分区域时所需的阈值T', T ′ = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z r 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z r 2 ( x , y ) ) , 其中,α为常数,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值;
②-b4、将Zr1中坐标位置为(i,j)的像素点的梯度幅值记为Zr1(i,j),将Zr2中坐标位置为(i,j)的像素点的梯度幅值记为Zr2(i,j),判断Zr1(i,j)>T或Zr2(i,j)>T是否成立,如果成立,则确定Rorg和Rdis中坐标位置为(i,j)的像素点属于敏感区域,并令AR(i,j)=1,否则,确定Rorg和Rdis中坐标位置为(i,j)的像素点属于非敏感区域,并令AR(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8)。
所述的步骤⑦中β1的获取过程为:
⑦-1、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑦-2、利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑦-3、根据步骤①至步骤⑥的操作过程,计算失真立体图像集中的每幅失真的立体图像的左视点图像相对于对应的无失真的立体图像的左视点图像的敏感区域的评价值Qm,L和非敏感区域的评价值Qnm,L
⑦-4、采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的Qm,L和Qnm,L,从而获得β1值。
与现有技术相比,本发明的优点在于首先分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像进行区域划分,得到人眼敏感区域和相应的非敏感区域,然后从结构幅值失真和结构方向失真两方面分别得出敏感区域和非敏感区域的评价指标;其次采用线性加权分别得到左视点图像质量评价值和右视点图像质量评价值,进而得到左右视点图像质量评价值;再次根据奇异值可以较好的表征立体图像结构信息特性,采样奇异值差异和剥夺奇异值后的残余图像的均值偏差率来衡量立体图像的深度感知的畸变情况,从而获得立体感知质量的评价值;最后将左右视点图像质量和立体感知质量两者以非线性方式结合,得到立体图像的最终质量评价结果,由于本发明方法避免模拟人眼视觉***的各个组成部分,而充分利用了立体图像的结构信息,因此有效地提高了客观评价结果与主观感知的一致性。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko&Kayo(640×480)立体图像;
图2b为Alt Moabit(1024×768)立体图像;
图2c为Balloons(1024×768)立体图像;
图2d为Door Flowers(1024×768)立体图像;
图2e为Kendo(1024×768)立体图像;
图2f为Leaving Laptop(1024×768)立体图像;
图2g为Lovebird1(1024×768)立体图像;
图2h为Newspaper(1024×768)立体图像;
图2i为Xmas(640×480)立体图像;
图2j为Puppy(720×480)立体图像;
图2k为Soccer2(720×480)立体图像;
图2l为Horse(480×270)立体图像;
图3为本发明方法的左视点图像质量评价框图;
图4a为不同α和ω1下的左视点图像质量和主观感知质量之间的CC性能变化图;
图4b为不同α和ω1下的左视点图像质量和主观感知质量之间的SROCC性能变化图;
图4c为不同α和ω1下的左视点图像质量和主观感知质量之间的RMSE性能变化图;
图5a为在ω1=1的情况下,不同α下的左视点图像质量和主观感知质量之间的CC性能变化图;
图5b为在ω1=1的情况下,不同α下的左视点图像质量和主观感知质量之间的SROCC性能变化图;
图5c为在ω1=1的情况下,不同α下的左视点图像质量和主观感知质量之间的RMSE性能变化图;
图6a为不同β1下的左右视点图像质量和主观感知质量之间的CC性能变化图;
图6b为不同β1下的左右视点图像质量和主观感知质量之间的SROCC性能变化图;
图6c为不同β1下的左右视点图像质量和主观感知质量之间的RMSE性能变化图;
图7a为不同τ下的立体深度感知质量和主观感知质量之间的CC性能变化图;
图7b为不同τ下的立体深度感知质量和主观感知质量之间的SROCC性能变化图;
图7c为不同τ下的立体深度感知质量和主观感知质量之间的RMSE性能变化图;
图8a为不同ρ下的立体图像质量和主观感知质量之间的CC性能变化图;
图8b为不同ρ下的立体图像质量和主观感知质量之间的SROCC性能变化图;
图8c为不同ρ下的立体图像质量和主观感知质量之间的RMSE性能变化图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于结构失真的立体图像客观质量评价方法,其从结构失真的角度分别评价了左右视点图像质量和立体图像的立体感知质量,采用非线性加权的方式得到立体图像的最终质量评价值。图1给出了本发明方法的总体实现框图,其包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点灰度图像记为Lorg,将原始的无失真的立体图像Sorg的右视点灰度图像记为Rorg,将待评价的失真的立体图像Sdis的左视点灰度图像记为Ldis,将待评价的失真的立体图像Sdis的右视点灰度图像记为Rdis
②对Lorg和Ldis、Rorg和Rdis4幅图像分别实施区域划分,分别得到Lorg和Ldis、Rorg和Rdis4幅图像各自对应的敏感区域矩阵映射图,将Lorg和Ldis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AL,对于AL中坐标位置为(i,j)处的系数值,将其记为AL(i,j),将Rorg和Rdis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AR,对于AR中坐标位置为(i,j)处的系数值,将其记为AR(i,j),其中,此处0≤i≤(W-8),0≤j≤(H-8),W表示Lorg、Ldis、Rorg和Rdis的宽,H表示Lorg、Ldis、Rorg和Rdis的高。
在此具体实施例中,步骤②中Lorg和Ldis各自对应的敏感区域矩阵映射图的系数矩阵AL的获取过程为:
②-a1、对Lorg作水平及垂直方向Sobel算子处理,得到Lorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l1和Zv,l1,然后计算Lorg的梯度幅值图,记为Zl1其中,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zh,l1(x,y)表示Zh,l1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l1(x,y)表示Zv,l1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl1的宽,H'表示Zl1的高。
②-a2、对Ldis作水平及垂直方向Sobel算子处理,得到Ldis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l2和Zv,l2,然后计算Ldis的梯度幅值图,记为Zl2其中,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值,Zh,l2(x,y)表示Zh,l2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l2(x,y)表示Zv,l2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl2的宽,H'表示Zl2的高。
②-a3、计算划分区域时所需的阈值T, T = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z l 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z l 2 ( x , y ) ) , 其中,W'表示Zl1和Zl2的宽,H'表示Zl1和Zl2的高,α为常数,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值。
②-a4、将Zl1中坐标位置为(i,j)的像素点的梯度幅值记为Zl1(i,j),将Zl2中坐标位置为(i,j)的像素点的梯度幅值记为Zl2(i,j),判断Zl1(i,j)>T或Zl2(i,j)>T是否成立,如果成立,则确定Lorg和Ldis中坐标位置为(i,j)的像素点属于敏感区域,并令AL(i,j)=1,否则,确定Lorg和Ldis中坐标位置为(i,j)的像素点属于非敏感区域,并令AL(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8)。
在此具体实施例中,步骤②中Rorg和Rdis各自对应的敏感区域矩阵映射图的系数矩阵AR的获取过程为:
②-b1、对Rorg作水平及垂直方向Sobel算子处理,得到Rorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r1和Zv,r1,然后计算Rorg的梯度幅值图,记为Zr1其中,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zh,r1(x,y)表示Zh,r1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r1(x,y)表示Zv,r1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr1的宽,H'表示Zr1的高。
②-b2、对Rdis作水平及垂直方向Sobel算子处理,得到Rdis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r2和Zv,r2,然后计算Rdis的梯度幅值图,记为Zr2其中,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值,Zh,r2(x,y)表示Zh,r2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r2(x,y)表示Zv,r2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr2的宽,H'表示Zr2的高。
②-b3、计算划分区域时所需的阈值T', T ′ = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z r 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z r 2 ( x , y ) ) , 其中,W'表示Zr1和Zr2的宽,H'表示Zr1和Zr2的高,α为常数,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值。
②-b4、将Zr1中坐标位置为(i,j)的像素点的梯度幅值记为Zr1(i,j),将Zr2中坐标位置为(i,j)的像素点的梯度幅值记为Zr2(i,j),判断Zr1(i,j)>T或Zr2(i,j)>T是否成立,如果成立,则确定Rorg和Rdis中坐标位置为(i,j)的像素点属于敏感区域,并令AR(i,j)=1,否则,确定Rorg和Rdis中坐标位置为(i,j)的像素点属于非敏感区域,并令AR(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8)。
在本实施例中,利用如图2a、图2b、图2c、图2d、图2e、图2f、图2g、图2h、图2i、图2j、图2k和图2l所示的12幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真类型包括JPEG压缩、JP2K压缩、高斯白噪声、高斯模糊和H264编码失真,且立体图像的左视点图像和右视点图像同时同程度失真,该失真立体图像集共包括312幅失真的立体图像,其中JPEG压缩的失真的立体图像共60幅,JPEG2000压缩的失真的立体图像共60幅,高斯白噪声失真的立体图像共60幅,高斯模糊失真的立体图像共60幅,H264编码失真的立体图像共72幅。对上述312幅立体图像进行如上所述的区域分割。
在本实施例中,α值决定了敏感区域划分的准确程度,若取值过大,则敏感区域会被误认为非敏感区域,若取值过小,则非敏感区域会被误认为敏感区域,因此其值的确定过程与左视点图像质量或右视点图像质量对立体图像质量的贡献来决定。
③将Lorg和Ldis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BL,对于BL中坐标位置为(i,j)处的系数值,将其记为BL(i,j), B L ( i , j ) = 2 × σ org , dis , L ( i , j ) + C 1 ( σ org , L ( i , j ) ) 2 + ( σ dis , L ( i , j ) ) 2 + C 1 , 其中,BL(i,j)亦表示Lorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Ldis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L org ( i + x , j + y ) - U org , L ( i , j ) ) 2 , U org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L org ( i + x , j + y ) , σ dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) 2 , U dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L dis ( i + x , j + y ) , σ org , dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( L org ( i + x , j + y ) - U org , L ( i , j ) ) × ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) ) , Lorg(i+x,j+y)表示Lorg中坐标位置为(i+x,j+y)的像素点的像素值,Ldis(i+x,j+y)表示Ldis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,C1是为了避免 B L ( i , j ) = 2 × σ org , dis , L ( i , j ) + C 1 ( σ org , L ( i , j ) ) 2 + ( σ dis , L ( i , j ) ) 2 + C 1 的分母出现零的情况,在实际应用过程中可取C1=0.01,此处0≤i≤(W-8),0≤j≤(H-8)。
在此,考虑图像的像素点之间的相关性,一个尺寸大小为8×8的重叠块与它最相邻的左块或右块有7列重叠,同样,该8×8重叠块与它最相邻的上块或下块有7行重叠。
将Rorg和Rdis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BR,对于BR中坐标位置为(i,j)处的系数值,将其记为BR(i,j), B R ( i , j ) = 2 × σ org , dis , R ( i , j ) + C 1 ( σ org , R ( i , j ) ) 2 + ( σ dis , R ( i , j ) ) 2 + C 1 , 其中,BR(i,j)亦表示Rorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Rdis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R org ( i + x , j + y ) - U org , R ( i , j ) ) 2 , U org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R org ( i + x , j + y ) , σ dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) 2 , U dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R dis ( i + x , j + y ) , σ org , dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( R org ( i + x , j + y ) - U org , R ( i , j ) ) × ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) ) , Rorg(i+x,j+y)表示Rorg中坐标位置为(i+x,j+y)的像素点的像素值,Rdis(i+x,j+y)表示Rdis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,C1是为了避免 B R ( i , j ) = 2 × σ org , dis , R ( i , j ) + C 1 ( σ org , R ( i , j ) ) 2 + ( σ dis , R ( i , j ) ) 2 + C 1 的分母出现零的情况,在实际应用过程中可取C1=0.01,此处0≤i≤(W-8),0≤j≤(H-8)。
④对Lorg和Ldis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Lorg和Ldis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Lorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,L,对于Ih,org,L中坐标位置为(i,j)处的系数值,将其记为Ih,org,L(i,j), I h , org , L ( i , j ) = L org ( i + 2 , j ) + 2 L org ( i + 2 , j + 1 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i , j + 1 ) - L org ( i , j + 2 ) , 将Lorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,L,对于Iv,org,L中坐标位置为(i,j)处的系数值,将其记为Iv,org,L(i,j), I v , org , L ( i , j ) = L org ( i , j + 2 ) + 2 L org ( i + 1 , j + 2 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i + 1 , j ) - L org ( i + 2 , j ) , 将Ldis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,L,对于Ih,dis,L中坐标位置为(i,j)处的系数值,将其记为Ih,dis,L(i,j), I h , dis , L ( i , j ) = L dis ( i + 2 , j ) + 2 L dis ( i + 2 , j + 1 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i , j + 1 ) - L dis ( i , j + 2 ) , 将Ldis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,L,对于Iv,dis,L中坐标位置为(i,j)处的系数值,将其记为Iv,dis,L(i,j), I v , dis , L ( i , j ) = L dis ( i , j + 2 ) + 2 L dis ( i + 1 , j + 2 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i + 1 , j ) - L dis ( i + 2 , j ) , 其中,Lorg(i+2,j)、Lorg(i+2,j+1)、Lorg(i+2,j+2)、Lorg(i,j)、Lorg(i,j+1)、Lorg(i,j+2)、Lorg(i+1,j+2)、Lorg(i+1,j)分别对应表示Lorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Ldis(i+2,j)、Ldis(i+2,j+1)、Ldis(i+2,j+2)、Ldis(i,j)、Ldis(i,j+1)、Ldis(i,j+2)、Ldis(i+1,j+2)、Ldis(i+1,j)分别对应表示Ldis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值。
对Rorg和Rdis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Rorg和Rdis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Rorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,R,对于Ih,org,R中坐标位置为(i,j)处的系数值,将其记为Ih,org,R(i,j), I h , org , R ( i , j ) = R org ( i + 2 , j ) + 2 R org ( i + 2 , j + 1 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i , j + 1 ) - R org ( i , j + 2 ) , 将Rorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,R,对于Iv,org,R中坐标位置为(i,j)处的系数值,将其记为Iv,org,R(i,j), I v , org , R ( i , j ) = R org ( i , j + 2 ) + 2 R org ( i + 1 , j + 2 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i + 1 , j ) - R org ( i + 2 , j ) , 将Rdis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,R,对于Ih,dis,R中坐标位置为(i,j)处的系数值,将其记为Ih,dis,R(i,j), I h , dis , R ( i , j ) = R dis ( i + 2 , j ) + 2 R dis ( i + 2 , j + 1 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i , j + 1 ) - R dis ( i , j + 2 ) , 将Rdis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,R,对于Iv,dis,R中坐标位置为(i,j)处的系数值,将其记为Iv,dis,R(i,j), I v , dis , R ( i , j ) = R dis ( i , j + 2 ) + 2 R dis ( i + 1 , j + 2 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i + 1 , j ) - R dis ( i + 2 , j ) , 其中,Rorg(i+2,j)、Rorg(i+2,j+1)、Rorg(i+2,j+2)、Rorg(i,j)、Rorg(i,j+1)、Rorg(i,j+2)、Rorg(i+1,j+2)、Rorg(i+1,j)分别对应表示Rorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Rdis(i+2,j)、Rdis(i+2,j+1)、Rdis(i+2,j+2)、Rdis(i,j)、Rdis(i,j+1)、Rdis(i,j+2)、Rdis(i+1,j+2)、Rdis(i+1,j)分别对应表示Rdis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值。
⑤计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为EL,对于EL中坐标位置为(i,j)处的系数值,将其记为EL(i,j), E L ( i , j ) = I h , org , L ( i , j ) × I h , dis , L ( i , j ) + I v , org , L ( i , j ) × I v , dis , L ( i , j ) + C 2 ( I h , org , L ( i , j ) ) 2 + ( I v , org , L ( i , j ) ) 2 × ( I h , dis , L ( i , j ) ) 2 + ( I v , dis , L ( i , j ) ) 2 + C 2 , 其中,C2表示常数,C2是为了避免 E L ( i , j ) = I h , org , L ( i , j ) × I h , dis , L ( i , j ) + I v , org , L ( i , j ) × I v , dis , L ( i , j ) + C 2 ( I h , org , L ( i , j ) ) 2 + ( I v , org , L ( i , j ) ) 2 × ( I h , dis , L ( i , j ) ) 2 + ( I v , dis , L ( i , j ) ) 2 + C 2 的分母出现为零的情况,在实际应用过程中可取C2=0.02。
计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为ER,对于ER中坐标位置为(i,j)处的系数值,将其记为ER(i,j), E R ( i , j ) = I h , org , R ( i , j ) × I h , dis , R ( i , j ) + I v , org , R ( i , j ) × I v , dis , R ( i , j ) + C 2 ( I h , org , R ( i , j ) ) 2 + ( I v , org , R ( i , j ) ) 2 × ( I h , dis , R ( i , j ) ) 2 + ( I v , dis , R ( i , j ) ) 2 + C 2 , C2是为了避免 E R ( i , j ) = I h , org , R ( i , j ) × I h , dis , R ( i , j ) + I v , org , R ( i , j ) × I v , dis , R ( i , j ) + C 2 ( I h , org , R ( i , j ) ) 2 + ( I v , org , R ( i , j ) ) 2 × ( I h , dis , R ( i , j ) ) 2 + ( I v , dis , R ( i , j ) ) 2 + C 2 的分母出现为零的情况,在实际应用过程中可取C2=0.02。
⑥计算Lorg和Ldis的结构失真评价值,记为QL,QL=ω1×Qm,L2×Qnm,L Q m , L = 1 N L , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × A L ( i , j ) ) , N L , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A L ( i , j ) , Q nm , L = 1 N L , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × ( 1 - A L ( i , j ) ) ) , N L , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A L ( i , j ) ) , 其中,ω1表示Lorg和Ldis中敏感区域的权重值,ω2表示Lorg和Ldis中非敏感区域的权重值。
计算Rorg和Rdis的结构失真评价值,记为QR,QR=ω'1×Qm,R+ω'2×Qnm,R Q m , R = 1 N R , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × A R ( i , j ) ) , N R , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A R ( i , j ) , Q nm , R = 1 N R , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × ( 1 - A R ( i , j ) ) ) , N R , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A R ( i , j ) ) , 其中,ω'1表示Rorg和Rdis中敏感区域的权重值,ω'2表示Rorg和Rdis中非敏感区域的权重值。
在本实施例中,图3给出了左视点图像质量评价的实现框图。利用如图2a至图2l所示的12幅无失真的立体图像建立由312幅失真的立体图像构成的失真立体图像集,对这312幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价,得到312幅失真的立体图像各自的平均主观评分差值(DMOS,Difference MeanOpinion Scores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS,因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100]。另一方面,对上述312幅失真的立体图像按本发明方法步骤①至⑥计算得到每幅失真的立体图像相应的Qm,L和Qnm,L;然后采用QL=ω1×Qm,L+(1-ω1)×Qnm,L进行作四参数Logistic函数非线性拟合,得到α和ω1值。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)、Spearman相关系数(SpearmanRank-Order Correlation Coefficient,SROCC)和均方误差系数(Rooted Mean SquaredError,RMSE),CC反映失真的立体图像评价函数这一客观模型的精度,SROCC反映客观模型与主观感知之间的单调性情况。RMSE反映其预测的准确性。CC和SROCC值越高说明立体图像客观评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观评价方法与DMOS相关性越好。图4a给出了不同α和ω1下的312幅立体图像的左视点图像质量和主观感知质量之间的CC性能变化,图4b给出了不同α和ω1下的312幅立体图像的左视点图像质量和主观感知质量之间的SROCC性能变化,图4c给出了不同α和ω1下的312幅立体图像的左视点图像质量和主观感知质量之间的RMSE性能变化,分析图4a、图4b和图4c,可知CC和SROCC会随着ω1值的变大而变大,而RMSE随着ω1值的变大而变小,说明左视点图像质量主要是由敏感区域的质量决定,而α值的改变对左视点图像质量与主观感知之间的性能影响不大。图5a给出了在ω1=1、ω2=0情况下,不同α下的312幅立体图像的左视点图像质量和主观感知质量之间的CC性能变化;图5b给出了在ω1=1、ω2=0情况下,不同α下的312幅立体图像的左视点图像质量和主观感知质量之间的SROCC性能变化;图5c给出了在ω1=1、ω2=0情况下,不同α下的312幅立体图像的左视点图像质量和主观感知质量之间的RMSE性能变化;分析图5a、图5b和图5c,可知CC、SROCC和RMSE值都在百分位上波动,但都存在一个峰值。因此,在本实施例中,取ω1=1,α=2.1。
⑦根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=β1×QL+(1-β1)×QR,其中,β1表示QL的权值。
在此具体实施例中,步骤⑦中β1的获取过程为:
⑦-1、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1。
⑦-2、利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
⑦-3、根据步骤①至步骤⑥的操作过程,计算失真立体图像集中的每幅失真的立体图像的左视点图像相对于对应的无失真的立体图像的左视点图像的敏感区域的评价值Qm,L和非敏感区域的评价值Qnm,L
⑦-4、采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的Qm,L和Qnm,L,从而获得β1值。
在本实施例中,β1决定了QL对立体图像质量的贡献,针对块效应,立体图像质量大概是左视点图像的质量和右视点图像的质量之和的一半,针对模糊失真,立体图像质量主要取决于质量较好的那个视点。由于该立体图像测试库的左视点图像和右视点图像同时受到同程度的失真,左视点图像的质量和右视点图像的质量变化不大,故β1变化对立体图像的主观性能影响不大。首先对上述312幅失真的立体图像按本发明方法步骤①至⑥计算得到每幅失真的立体图像相应的QL和QR,然后采用四参数拟合得到β1值。图6a给出了不同β1下的左右视点图像的质量与主观感知质量之间的CC性能变化,图6a给出了不同β1下的左右视点图像的质量与主观感知质量之间的SROCC性能变化,图6a给出了不同β1下的左右视点图像的质量与主观感知质量之间的RMSE性能变化,分析图6a、图6b和图6c,可知随着β1值的变化,CC、SROCC和RMSE值变化不大,在百分位上波动,但都存在峰值。这里,取β1=0.5。
⑧计算Lorg和Rorg的绝对差值图像用矩阵表示,即计算Ldis和Rdis的绝对差值图像用矩阵表示,即其中,“||”为取绝对值符号。
⑨将幅图像分别分割成个互不重叠的尺寸大小为8×8的块,然后对幅图像中的所有块分别实施奇异值分解,得到对应的由其每个块的奇异值矩阵组成的奇异值映射图和对应的由其每个块的奇异值矩阵组成的奇异值映射图,将实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gorg,对于Gorg中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gdis,对于Gdis中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为其中,WLR表示的宽,HLR表示的高,0≤p≤7,0≤q≤7。
在此,为了降低计算复杂度,一个8×8的块与它最相邻的左块或右块或上块或下块没有重复列或重复行,即块与块互不重叠。
⑩计算对应的奇异值映射图和对应的奇异值映射图的奇异值偏差评价值,记为K, K = 64 W LR × H LR × Σ n = 0 W LR × H LR / 64 - 1 Σ p = 0 7 ( G org n ( p , p ) × | G org n ( p , p ) - G dis n ( p , p ) | ) Σ p = 0 7 G org n ( p , p ) , 其中,表示Gorg中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值,表示Gdis中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值。
分别实施奇异值分解,分别得到各自对应的2个正交矩阵和1个奇异值矩阵,将实施奇异值分解后得到的2个正交矩阵分别记为χorg和Vorg,将实施奇异值分解后得到的奇异值矩阵记为Oorg实施奇异值分解后得到的2个正交矩阵分别记为χdis和Vdis,将实施奇异值分解后得到的奇异值矩阵记为Odis
分别计算幅图像剥夺奇异值后的残留矩阵图,将剥夺奇异值后的残留矩阵图记为Xorg,Xorg=χorg×Λ×Vorg,将剥夺奇异值后的残留矩阵图记为Xdis,Xdis=χdis×Λ×Vdis,其中,Λ表示单位矩阵,Λ的大小与Oorg和Odis的大小一致。
计算Xorg和Xdis的均值偏差率,记为 其中,x表示Xorg和Xdis中的像素点的横坐标,y表示Xorg和Xdis中的像素点的纵坐标。
计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS其中,τ表示常数,用于调节K和在QS中所起的重要性。
在本实施例中,首先求取上述312幅失真的立体图像和10幅无失真的立体图像的绝对差值图像,然后按照本发明方法的步骤⑧至计算得到每幅失真的立体图像相应的K和在此,τ值大小决定了奇异值偏差与残留信息在深度感知评价中所起的重要性。图7a给出了在不同τ下312幅失真的立体图像的立体感知质量与主观感知之间的CC性能变化,图7b给出了在不同τ下312幅失真的立体图像的立体感知质量与主观感知之间的SROCC性能变化,图7c给出了在不同τ下312幅失真的立体图像的立体感知质量与主观感知之间的RMSE性能变化,图7a、图7b和图7c中τ在[-164]范围内变化,分析图7a、图7b和图7c,可知CC、SROCC和RMSE与τ的变化都存在一个极值,且位置大致相同,这里取τ=-8。
根据QF和QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)ρ,其中,ρ表示权重系数值。
在本实施例中,对上述312幅失真的立体图像按本发明方法步骤①至计算得到每幅失真的立体图像相应的QF和QS,然后采用Q=QF×(QS)ρ进行作四参数Logistic函数非线性拟合,得到ρ,ρ值决定了左右视点图像的质量和立体感知质量在立体图像质量中的贡献。QF和QS值都是随着立体图像失真程度加深而变小,故ρ值的取值范围为大于0。图8a给出了在不同ρ值下的312幅立体图像的质量与主观感知质量之间的CC性能变化,图8b给出了在不同ρ值下的312幅立体图像的质量与主观感知质量之间的SROCC性能变化,图8c给出了在不同ρ值下的312幅立体图像的质量与主观感知质量之间的RMSE性能变化,分析图8a、图8b、图8c,可知ρ值取得太大或太小都会影响立体图像质量客观评价模型与主观感知之间的一致性,随着ρ值变化情况下,CC、SROCC和RMSE值都存在极值点,且大致位置相同,这里取ρ=0.3。
分析本实施例得到的失真的立体图像的图像质量评价函数Q=QF×(QS)0.3的最终评价结果与主观评分DMOS之间的相关性。首先按本实施例得到的失真的立体图像的图像质量评价函数Q=QF×(QS)0.3计算得到的最终立体图像质量评价结果的输出值Q,然后将输出值Q做四参数Logistic函数非线性拟合,最后得到立体客观评价模型与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即CC、SROCC、常值比率(Outlier Ratio,OR)、RMSE。OR反映立体图像质量客观评级模型的离散程度,即所有失真立体图像中四参数拟合后的评价值与DMOS之间的差异大于某一阈值的失真立体图像数目所占比例。表1给出了评价性能CC、SROCC、OR和RMSE系数,由表1数据可见,按本实施例得到的失真的立体图像的图像质量评价函数Q=QF×(QS)0.3计算得到的最终评价结果的输出值Q与主观评分DMOS之间的相关性是很高的,CC值和SROCC值都超过0.92,RMSE值低于6.5,表明客观评价结果与人眼主观感知的结果较为一致,说明了本发明方法的有效性。
表1本实施得到的失真的立体图像的图像质量评价分值与主观评分之间的相关性
Gblur JP2K JPEG WN H264 ALL
数目 60 60 60 60 72 312
CC 0.9658 0.9479 0.9533 0.9554 0.9767 0.9235
SROCC 0.9655 0.9489 0.9524 0.9274 0.9545 0.9430
OR 0 0 0 0 0 0
RMSE 5.4719 3.8180 4.3010 4.6151 3.0135 6.5890

Claims (3)

1.一种基于结构失真的立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点灰度图像记为Lorg,将原始的无失真的立体图像Sorg的右视点灰度图像记为Rorg,将待评价的失真的立体图像Sdis的左视点灰度图像记为Ldis,将待评价的失真的立体图像Sdis的右视点灰度图像记为Rdis
②对Lorg和Ldis、Rorg和Rdis4幅图像分别实施区域划分,分别得到Lorg和Ldis、Rorg和Rdis4幅图像各自对应的敏感区域矩阵映射图,将Lorg和Ldis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AL,对于AL中坐标位置为(i,j)处的系数值,将其记为AL(i,j),将Rorg和Rdis分别实施区域划分后得到的各自对应的敏感区域矩阵映射图的系数矩阵均记为AR,对于AR中坐标位置为(i,j)处的系数值,将其记为AR(i,j),其中,此处0≤i≤(W-8),0≤j≤(H-8),W表示Lorg、Ldis、Rorg和Rdis的宽,H表示Lorg、Ldis、Rorg和Rdis的高;
③将Lorg和Ldis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BL,对于BL中坐标位置为(i,j)处的系数值,将其记为BL(i,j), B L ( i , j ) = 2 × σ org , dis , L ( i , j ) + C 1 ( σ org , L ( i , j ) ) 2 + ( σ dis , L ( i , j ) ) 2 + C 1 , 其中,BL(i,j)亦表示Lorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Ldis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L org ( i + x , j + y ) - U org , L ( i , j ) ) 2 , U org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L org ( i + x , j + y ) , σ dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) 2 , U dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 L dis ( i + x , j + y ) , σ org , dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( L org ( i + x , j + y ) - U org , L ( i , j ) ) × ( L dis ( i + x , j + y ) - U dis , L ( i , j ) ) ) , Lorg(i+x,j+y)表示Lorg中坐标位置为(i+x,j+y)的像素点的像素值,Ldis(i+x,j+y)表示Ldis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,此处0≤i≤(W-8),0≤j≤(H-8);
将Rorg和Rdis2幅图像分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构幅值失真映射图,将该结构幅值失真映射图的系数矩阵记为BR,对于BR中坐标位置为(i,j)处的系数值,将其记为BR(i,j), B R ( i , j ) = 2 × σ org , dis , R ( i , j ) + C 1 ( σ org , R ( i , j ) ) 2 + ( σ dis , R ( i , j ) ) 2 + C 1 , 其中,BR(i,j)亦表示Rorg中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块与Rdis中左上角坐标位置为(i,j)的尺寸大小为8×8的重叠块的结构幅值失真值, σ org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R org ( i + x , j + y ) - U org , R ( i , j ) ) 2 , U org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R org ( i + x , j + y ) , σ dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) 2 , U dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 R dis ( i + x , j + y ) , σ org , dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( R org ( i + x , j + y ) - U org , R ( i , j ) ) × ( R dis ( i + x , j + y ) - U dis , R ( i , j ) ) ) , Rorg(i+x,j+y)表示Rorg中坐标位置为(i+x,j+y)的像素点的像素值,Rdis(i+x,j+y)表示Rdis中坐标位置为(i+x,j+y)的像素点的像素值,C1表示常数,此处0≤i≤(W-8),0≤j≤(H-8);
④对Lorg和Ldis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Lorg和Ldis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Lorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,L,对于Ih,org,L中坐标位置为(i,j)处的系数值,将其记为Ih,org,L(i,j), I h , org , L ( i , j ) = L org ( i + 2 , j ) + 2 L org ( i + 2 , j + 1 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i , j + 1 ) - L org ( i , j + 2 ) , 将Lorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,L,对于Iv,org,L中坐标位置为(i,j)处的系数值,将其记为Iv,org,L(i,j), I v , org , L ( i , j ) = L org ( i , j + 2 ) + 2 L org ( i + 1 , j + 2 ) + L org ( i + 2 , j + 2 ) - L org ( i , j ) - 2 L org ( i + 1 , j ) - L org ( i + 2 , j ) , 将Ldis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,L,对于Ih,dis,L中坐标位置为(i,j)处的系数值,将其记为Ih,dis,L(i,j), I h , dis , L ( i , j ) = L dis ( i + 2 , j ) + 2 L dis ( i + 2 , j + 1 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i , j + 1 ) - L dis ( i , j + 2 ) , 将Ldis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,L,对于Iv,dis,L中坐标位置为(i,j)处的系数值,将其记为Iv,dis,L(i,j), I v , dis , L ( i , j ) = L dis ( i , j + 2 ) + 2 L dis ( i + 1 , j + 2 ) + L dis ( i + 2 , j + 2 ) - L dis ( i , j ) - 2 L dis ( i + 1 , j ) - L dis ( i + 2 , j ) , 其中,Lorg(i+2,j)、Lorg(i+2,j+1)、Lorg(i+2,j+2)、Lorg(i,j)、Lorg(i,j+1)、Lorg(i,j+2)、Lorg(i+1,j+2)、Lorg(i+1,j)分别对应表示Lorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Ldis(i+2,j)、Ldis(i+2,j+1)、Ldis(i+2,j+2)、Ldis(i,j)、Ldis(i,j+1)、Ldis(i,j+2)、Ldis(i+1,j+2)、Ldis(i+1,j)分别对应表示Ldis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值;
对Rorg和Rdis2幅图像分别实施水平及垂直方向Sobel算子处理,分别得到Rorg和Rdis2幅图像各自对应的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,将Rorg实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,org,R,对于Ih,org,R中坐标位置为(i,j)处的系数值,将其记为Ih,org,R(i,j), I h , org , R ( i , j ) = R org ( i + 2 , j ) + 2 R org ( i + 2 , j + 1 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i , j + 1 ) - R org ( i , j + 2 ) , 将Rorg实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,org,R,对于Iv,org,R中坐标位置为(i,j)处的系数值,将其记为Iv,org,R(i,j), I v , org , R ( i , j ) = R org ( i , j + 2 ) + 2 R org ( i + 1 , j + 2 ) + R org ( i + 2 , j + 2 ) - R org ( i , j ) - 2 R org ( i + 1 , j ) - R org ( i + 2 , j ) , 将Rdis实施水平方向Sobel算子处理后得到的对应的水平方向梯度矩阵映射图的系数矩阵记为Ih,dis,R,对于Ih,dis,R中坐标位置为(i,j)处的系数值,将其记为Ih,dis,R(i,j), I h , dis , R ( i , j ) = R dis ( i + 2 , j ) + 2 R dis ( i + 2 , j + 1 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i , j + 1 ) - R dis ( i , j + 2 ) , 将Rdis实施垂直方向Sobel算子处理后得到的对应的垂直方向梯度矩阵映射图的系数矩阵记为Iv,dis,R,对于Iv,dis,R中坐标位置为(i,j)处的系数值,将其记为Iv,dis,R(i,j), I v , dis , R ( i , j ) = R dis ( i , j + 2 ) + 2 R dis ( i + 1 , j + 2 ) + R dis ( i + 2 , j + 2 ) - R dis ( i , j ) - 2 R dis ( i + 1 , j ) - R dis ( i + 2 , j ) , 其中,Rorg(i+2,j)、Rorg(i+2,j+1)、Rorg(i+2,j+2)、Rorg(i,j)、Rorg(i,j+1)、Rorg(i,j+2)、Rorg(i+1,j+2)、Rorg(i+1,j)分别对应表示Rorg中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值,Rdis(i+2,j)、Rdis(i+2,j+1)、Rdis(i+2,j+2)、Rdis(i,j)、Rdis(i,j+1)、Rdis(i,j+2)、Rdis(i+1,j+2)、Rdis(i+1,j)分别对应表示Rdis中坐标位置为(i+2,j)、(i+2,j+1)、(i+2,j+2)、(i,j)、(i,j+1)、(i,j+2)、(i+1,j+2)、(i+1,j)的像素点的像素值;
⑤计算Lorg和Ldis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为EL,对于EL中坐标位置为(i,j)处的系数值,将其记为EL(i,j), E L ( i , j ) = I h , org , L ( i , j ) × I h , dis , L ( i , j ) + I v , org , L ( i , j ) × I v , dis , L ( i , j ) + C 2 ( I h , org , L ( i , j ) ) 2 + ( I v , org , L ( i , j ) ) 2 × ( I h , dis , L ( i , j ) ) 2 + ( I v , dis , L ( i , j ) ) 2 + C 2 , 其中,C2表示常数;
计算Rorg和Rdis2幅图像中所有坐标位置相同的两个重叠块的结构方向失真映射图,将该结构方向失真映射图的系数矩阵记为ER,对于ER中坐标位置为(i,j)处的系数值,将其记为ER(i,j), E R ( i , j ) = I h , org , R ( i , j ) × I h , dis , R ( i , j ) + I v , org , R ( i , j ) × I v , dis , R ( i , j ) + C 2 ( I h , org , R ( i , j ) ) 2 + ( I v , org , R ( i , j ) ) 2 × ( I h , dis , R ( i , j ) ) 2 + ( I v , dis , R ( i , j ) ) 2 + C 2 ;
⑥计算Lorg和Ldis的结构失真评价值,记为QL,QL=ω1×Qm,L2×Qnm,L Q m , L = 1 N L , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × A L ( i , j ) ) , N L , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A L ( i , j ) , Q nm , L = 1 N L , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B L ( i , j ) + E L ( i , j ) ) × ( 1 - A L ( i , j ) ) ) , N L , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A L ( i , j ) ) , 其中,ω1表示Lorg和Ldis中敏感区域的权重值,ω2表示Lorg和Ldis中非敏感区域的权重值;
计算Rorg和Rdis的结构失真评价值,记为QR,QR=ω'1×Qm,R+ω'2×Qnm,R Q m , R = 1 N R , m Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × A R ( i , j ) ) , N R , m = Σ i = 0 W - 8 Σ j = 0 H - 8 A R ( i , j ) , Q nm , R = 1 N R , nm Σ i = 0 W - 8 Σ j = 0 H - 8 ( 0.5 × ( B R ( i , j ) + E R ( i , j ) ) × ( 1 - A R ( i , j ) ) ) , N R , nm = Σ i = 0 W - 8 Σ j = 0 H - 8 ( 1 - A R ( i , j ) ) , 其中,ω'1表示Rorg和Rdis中敏感区域的权重值,ω'2表示Rorg和Rdis中非敏感区域的权重值;
⑦根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=β1×QL+(1-β1)×QR,其中,β1表示QL的权值;
⑧计算Lorg和Rorg的绝对差值图像,以矩阵形式表示为 计算Ldis和Rdis的绝对差值图像,以矩阵形式表示为 其中,“||”为取绝对值符号;
⑨将幅图像分别分割成个互不重叠的尺寸大小为8×8的块,然后对幅图像中的所有块分别实施奇异值分解,得到对应的由其每个块的奇异值矩阵组成的奇异值映射图和对应的由其每个块的奇异值矩阵组成的奇异值映射图,将实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gorg,对于Gorg中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为实施奇异值分解后得到的奇异值映射图的系数矩阵记为Gdis,对于Gdis中第n个块的奇异值矩阵中坐标位置为(p,q)处的奇异值,将其记为其中,WLR表示的宽,HLR表示的高,0≤p≤7,0≤q≤7;
⑩计算对应的奇异值映射图和对应的奇异值映射图的奇异值偏差评价值,记为K, K = 64 W LR × H LR × Σ n = 0 W LR × H LR / 64 - 1 Σ p = 0 7 ( G org n ( p , p ) × | G org n ( p , p ) - G dis n ( p , p ) | ) Σ p = 0 7 G org n ( p , p ) , 其中,表示Gorg中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值,表示Gdis中第n个块的奇异值矩阵中坐标位置为(p,p)处的奇异值;
分别实施奇异值分解,分别得到各自对应的2个正交矩阵和1个奇异值矩阵,将实施奇异值分解后得到的2个正交矩阵分别记为χorg和Vorg,将实施奇异值分解后得到的奇异值矩阵记为Oorg实施奇异值分解后得到的2个正交矩阵分别记为χdis和Vdis,将实施奇异值分解后得到的奇异值矩阵记为Odis
分别计算幅图像剥夺奇异值后的残留矩阵图,将剥夺奇异值后的残留矩阵图记为Xorg,Xorg=χorg×Λ×Vorg,将剥夺奇异值后的残留矩阵图记为Xdis,Xdis=χdis×Λ×Vdis,其中,Λ表示单位矩阵,Λ的大小与Oorg和Odis的大小一致;
计算Xorg和Xdis的均值偏差率,记为 其中,x表示Xorg和Xdis中的像素点的横坐标,y表示Xorg和Xdis中的像素点的纵坐标;
计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS其中,τ表示常数,用于调节K和在QS中所起的重要性;
根据QF和QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)ρ,其中,ρ表示权重系数值。
2.根据权利要求1所述的一种基于结构失真的立体图像客观质量评价方法,其特征在于所述的步骤②中Lorg和Ldis各自对应的敏感区域矩阵映射图的系数矩阵AL的获取过程为:
②-a1、对Lorg作水平及垂直方向Sobel算子处理,得到Lorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l1和Zv,l1,然后计算Lorg的梯度幅值图,记为Zl1其中,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zh,l1(x,y)表示Zh,l1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l1(x,y)表示Zv,l1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl1的宽,H'表示Zl1的高;
②-a2、对Ldis作水平及垂直方向Sobel算子处理,得到Ldis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l2和Zv,l2,然后计算Ldis的梯度幅值图,记为Zl2其中,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值,Zh,l2(x,y)表示Zh,l2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,l2(x,y)表示Zv,l2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zl2的宽,H'表示Zl2的高;
②-a3、计算划分区域时所需的阈值T, T = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z l 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z l 2 ( x , y ) ) , 其中,α为常数,Zl1(x,y)表示Zl1中坐标位置为(x,y)的像素点的梯度幅值,Zl2(x,y)表示Zl2中坐标位置为(x,y)的像素点的梯度幅值;
②-a4、将Zl1中坐标位置为(i,j)的像素点的梯度幅值记为Zl1(i,j),将Zl2中坐标位置为(i,j)的像素点的梯度幅值记为Zl2(i,j),判断Zl1(i,j)>T或Zl2(i,j)>T是否成立,如果成立,则确定Lorg和Ldis中坐标位置为(i,j)的像素点属于敏感区域,并令AL(i,j)=1,否则,确定Lorg和Ldis中坐标位置为(i,j)的像素点属于非敏感区域,并令AL(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8);
所述的步骤②中Rorg和Rdis各自对应的敏感区域矩阵映射图的系数矩阵AR的获取过程为:
②-b1、对Rorg作水平及垂直方向Sobel算子处理,得到Rorg的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r1和Zv,r1,然后计算Rorg的梯度幅值图,记为Zr1其中,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zh,r1(x,y)表示Zh,r1中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r1(x,y)表示Zv,r1中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr1的宽,H'表示Zr1的高;
②-b2、对Rdis作水平及垂直方向Sobel算子处理,得到Rdis的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r2和Zv,r2,然后计算Rdis的梯度幅值图,记为Zr2其中,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值,Zh,r2(x,y)表示Zh,r2中坐标位置为(x,y)的像素点的水平方向梯度值,Zv,r2(x,y)表示Zv,r2中坐标位置为(x,y)的像素点的垂直方向梯度值,1≤x≤W',1≤y≤H',此处W'表示Zr2的宽,H'表示Zr2的高;
②-b3、计算划分区域时所需的阈值T', T ′ = α × 1 W ′ × H ′ × ( Σ x = 0 W ′ Σ y = 0 H ′ Z r 1 ( x , y ) + Σ x = 0 W ′ Σ y = 0 H ′ Z r 2 ( x , y ) ) , 其中,α为常数,Zr1(x,y)表示Zr1中坐标位置为(x,y)的像素点的梯度幅值,Zr2(x,y)表示Zr2中坐标位置为(x,y)的像素点的梯度幅值;
②-b4、将Zr1中坐标位置为(i,j)的像素点的梯度幅值记为Zr1(i,j),将Zr2中坐标位置为(i,j)的像素点的梯度幅值记为Zr2(i,j),判断Zr1(i,j)>T或Zr2(i,j)>T是否成立,如果成立,则确定Rorg和Rdis中坐标位置为(i,j)的像素点属于敏感区域,并令AR(i,j)=1,否则,确定Rorg和Rdis中坐标位置为(i,j)的像素点属于非敏感区域,并令AR(i,j)=0,其中,0≤i≤(W-8),0≤j≤(H-8)。
3.根据权利要求1或2所述的一种基于结构失真的立体图像客观质量评价方法,其特征在于所述的步骤⑦中β1的获取过程为:
⑦-1、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑦-2、利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑦-3、根据步骤①至步骤⑥的操作过程,计算失真立体图像集中的每幅失真的立体图像的左视点图像相对于对应的无失真的立体图像的左视点图像的敏感区域的评价值Qm,L和非敏感区域的评价值Qnm,L
⑦-4、采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的Qm,L和Qnm,L,从而获得β1值。
CN201210145034.0A 2012-05-11 2012-05-11 一种基于结构失真的立体图像客观质量评价方法 Expired - Fee Related CN102708568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210145034.0A CN102708568B (zh) 2012-05-11 2012-05-11 一种基于结构失真的立体图像客观质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210145034.0A CN102708568B (zh) 2012-05-11 2012-05-11 一种基于结构失真的立体图像客观质量评价方法

Publications (2)

Publication Number Publication Date
CN102708568A CN102708568A (zh) 2012-10-03
CN102708568B true CN102708568B (zh) 2014-11-05

Family

ID=46901288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210145034.0A Expired - Fee Related CN102708568B (zh) 2012-05-11 2012-05-11 一种基于结构失真的立体图像客观质量评价方法

Country Status (1)

Country Link
CN (1) CN102708568B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108209B (zh) * 2012-12-28 2015-03-11 宁波大学 基于视觉阈值与通道融合的立体图像客观质量评价方法
CN104036502B (zh) * 2014-06-03 2016-08-24 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN104574363B (zh) * 2014-12-12 2017-09-29 南京邮电大学 一种考虑梯度方向差异的全参考图像质量评价方法
CN108074241B (zh) * 2018-01-16 2021-10-22 深圳大学 目标图像的质量评分方法、装置、终端及存储介质
CN110232680B (zh) * 2019-05-30 2021-04-27 广智微芯(扬州)有限公司 一种图像模糊度评价方法及装置
CN113920065B (zh) * 2021-09-18 2023-04-28 天津大学 用于工业现场的视觉检测***成像质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833766A (zh) * 2010-05-11 2010-09-15 天津大学 基于gssim的立体图像客观质量评价算法
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102142145A (zh) * 2011-03-22 2011-08-03 宁波大学 一种基于人眼视觉特性的图像质量客观评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512286B2 (en) * 2003-10-27 2009-03-31 Hewlett-Packard Development Company, L.P. Assessing image quality
WO2008115410A2 (en) * 2007-03-16 2008-09-25 Sti Medical Systems, Llc A method to provide automated quality feedback to imaging devices to achieve standardized imaging data
JP4895204B2 (ja) * 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833766A (zh) * 2010-05-11 2010-09-15 天津大学 基于gssim的立体图像客观质量评价算法
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102142145A (zh) * 2011-03-22 2011-08-03 宁波大学 一种基于人眼视觉特性的图像质量客观评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
利用奇异值分解法的立体图像客观质量评价模型;周俊明等;《计算机辅助设计与图形学学报》;20110531;第23卷(第5期);870-877 *
周俊明等.利用奇异值分解法的立体图像客观质量评价模型.《计算机辅助设计与图形学学报》.2011,第23卷(第5期),870-877. *
基于三维特征和结构相似度的图像质量评价方法;沈丽丽等;《光电子·激光》;20101130;第21卷(第11期);1713-1719 *
沈丽丽等.基于三维特征和结构相似度的图像质量评价方法.《光电子·激光》.2010,第21卷(第11期),1713-1719. *

Also Published As

Publication number Publication date
CN102708568A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
CN102708568B (zh) 一种基于结构失真的立体图像客观质量评价方法
CN102663747B (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN103517065B (zh) 一种质降参考立体图像质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105447884A (zh) 一种基于流形特征相似度的图像质量客观评价方法
CN104036502B (zh) 一种无参考模糊失真立体图像质量评价方法
CN103581661A (zh) 一种立体图像视觉舒适度评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN102333233A (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN105744256A (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN104954778B (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN103413298B (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
CN106683079B (zh) 一种基于结构失真的无参考图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20210511

CF01 Termination of patent right due to non-payment of annual fee