CN102663747B - 一种基于视觉感知的立体图像客观质量评价方法 - Google Patents

一种基于视觉感知的立体图像客观质量评价方法 Download PDF

Info

Publication number
CN102663747B
CN102663747B CN201210081617.1A CN201210081617A CN102663747B CN 102663747 B CN102663747 B CN 102663747B CN 201210081617 A CN201210081617 A CN 201210081617A CN 102663747 B CN102663747 B CN 102663747B
Authority
CN
China
Prior art keywords
sigma
org
dis
corresponding image
coefficient matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210081617.1A
Other languages
English (en)
Other versions
CN102663747A (zh
Inventor
郁梅
毛香英
蒋刚毅
周俊明
李福翠
邵枫
彭宗举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210081617.1A priority Critical patent/CN102663747B/zh
Publication of CN102663747A publication Critical patent/CN102663747A/zh
Application granted granted Critical
Publication of CN102663747B publication Critical patent/CN102663747B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于视觉感知的立体图像客观质量评价方法,其从左右视点图像质量和深度感知两部分出发,左右视点图像质量对多尺度上的结构信息进行捕捉,有效地反映原始和失真立体图像对的结构相似度的差异,而立体深度感主要是由于人的左右眼看到的图像存在细微的差异造成的,故通过比较原始和失真绝对差值图的亮度失真、结构失真及灵敏度失真获得深度感知评价值,然后对这两部分的评价值进行非线性拟合得到最终的立体图像质量评价指标,由于本方法融入了立体图像特有的深度感特性和图像质量损失特性的客观评价模型结果既能反映立体图像的质量又能反映深度感,因此评价结果可以客观地反映立体图像处理或压缩算法对立体图像质量变化的影响。

Description

一种基于视觉感知的立体图像客观质量评价方法
技术领域
本发明涉及一种立体图像质量评价技术,尤其是涉及一种基于视觉感知的立体图像客观质量评价方法。
背景技术
随着互联网、通信和多媒体信息技术的快速发展,增强视觉逼真感和临场感的立体图像是下一代数字媒体技术的发展方向。同时,市场对立体视频***开发与应用的需求也越来越迫切,如在立体数字电视、远程教育、远程工业控制、三维视频会议***、虚拟现实***、远程医疗、遥控机器人、自动导航、消费电子等诸多领域有着广泛的应用前景。立体图像质量评价在图像处理相关领域中有着重要地位,是比较各种立体图像处理算法性能优劣以及优化***参数的重要指标。如何在3DTV***的图像采集、编码压缩、网络传输等领域建立有效的立体图像质量评价机制成为图像领域的关键问题。立体图像质量评价分为主观质量评价和客观质量评价。主观质量评价虽更接近人的真实视觉感受,但由于需要多名评分者严格按着复杂程序和步骤进行,存在耗时、费用高、难以嵌入***,评价结果易受评分者、测试条件和测试环境的影响等缺点。而客观质量评价能很好地克服主观质量评价的缺点。目前,立体图像客观质量评价主要是迁移平面图像质量评价算法,没有考虑立体特有的深度感知特性以及充分利用人眼视觉感知特性,因此客观质量评价模型与主观感知之间的一致性不是很好。为了满足快速发展的时代需求,设计全面、符合人眼视觉感知的立体图像客观质量评价方法迫在眉睫。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高立体图像质量客观评价模型与主观感知之间的一致性,为各种立体图像处理算法的评判提供准确的判断依据的基于视觉感知的立体图像客观质量评价方法。
本发明解决上述技术问题所采用的技术方案为:一种基于视觉感知的立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级正交小波9/7滤波和下采样的尺度分解,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Ldis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rdis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为其中,1≤m≤M;
③对Lorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Lorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Ldis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Ldis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rdis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rdis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,其中,三个区域分别为边缘区域、平坦区域和纹理区域;将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,其中,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
④将Lorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Ldis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Lorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 C m org , L ( i + x , j + y ) , σ m org , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) 2 , 将Ldis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 C m dis , L ( i + x , j + y ) , σ m dis , L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) 2 , 将Lorg的第m个子带的系数矩阵对应的图像中与Ldis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m L ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) × ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7);
将Rorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Rdis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Rorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 C m org , R ( i + x , j + y ) , σ m org , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) 2 , 将Rdis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 C m dis , R ( i + x , j + y ) σ m dis , R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( C m dis , R ( i + x , j + y ) - U m dis , R ( i , j ) ) 2 , 将Rorg的第m个子带的系数矩阵对应的图像中与Rdis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m R ( i , j ) = 1 64 Σ x = 0 7 Σ y = 0 7 ( ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) × ( C m dis , R ( i + x , j + y ) - U m dis , R ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7);
⑤计算Lorg和Ldis的结构相似度值,记为QL其中,LM,L=b1×LM,e,L+b2×LM,f,L+b3×LM,t,L,Qm,L=b1×Qm,e,L+b2×Qm,f,L+b3×Qm,t,L L M , e , L = 1 N e , L Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , L ( i , j ) × U M dis , L ( i , j ) × A M , e L ( i , j ) + C 1 ( U M org , L ( i , j ) × A M , e L ( i , j ) ) 2 + ( U M dis , L ( i , j ) × A M , e L ( i , j ) ) 2 + C 1 , N e , L = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , e L ( i , j ) , L M , f , L = 1 N f , L Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , L ( i , j ) × U M dis , L ( i , j ) × A M , f L ( i , j ) + C 1 ( U M org , L ( i , j ) × A M , f L ( i , j ) ) 2 + ( U M dis , L ( i , j ) × A M , f L ( i , j ) ) 2 + C 1 , N f , L = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , f L ( i , j ) , L M , t , L = 1 N t , L Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , L ( i , j ) × U M dis , L ( i , j ) × A M , t L ( i , j ) + C 1 ( U M org , L ( i , j ) × A M , t L ( i , j ) ) 2 + ( U M dis , L ( i , j ) × A M , t L ( i , j ) ) 2 + C 1 , N t , L = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , t L ( i , j ) , Qm,e,L=Hm,e,L×Gm,e,L,Qm,f,L=Hm,f,L×Gm,f,L,Qm,t,L=Hm,t,L×Gm,t,L H m , e , L = 1 N e , L Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m L ( i , j ) × A m , e L ( i , j ) + C 3 σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , e L ( i , j ) + C 3 , H m , f , L = 1 N f , L Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m L ( i , j ) × A m , f L ( i , j ) + C 3 σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , f L ( i , j ) + C 3 , H m , t , L = 1 N t , L Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m L ( i , j ) × A m , t L ( i , j ) + C 3 σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , t L ( i , j ) + C 3 , G m , e , L = 1 N e , L Σ i = 0 W m - 8 Σ j = 0 H m - 8 2 × σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , e L ( i , j ) + C 2 ( σ m org , L ( i , j ) × A m , e L ( i , j ) ) 2 + ( σ m dis , L ( i , j ) × A m , e L ( i , j ) ) 2 + C 2 , G m , f , L = 1 N f , L Σ i - 0 W m - 8 Σ j - 0 H m - 8 2 × σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , f L ( i , j ) + C 2 ( σ m org , L ( i , j ) × A m , f L ( i , j ) ) 2 + ( σ m dis , L ( i , j ) × A m , f L ( i , j ) ) 2 + C 2 , G m , t , L = 1 N t , L Σ i = 0 W m - 8 Σ j = 0 H m - 8 2 × σ m org , L ( i , j ) × σ m dis , L ( i , j ) × A m , t L ( i , j ) + C 2 ( σ m org , L ( i , j ) × A m , t L ( i , j ) ) 2 + ( σ m dis , L ( i , j ) × A m , t L ( i , j ) ) 2 + C 2 , 此处αm表示Qm,L对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,C1、C2和C3均为常数,且C1≠0,C2≠0,C3≠0,表示Lorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Ldis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵中坐标位置为(i,j)处的系数,WM表示对应的图像的宽度,HM表示对应的图像的高度;
计算Rorg和Rdis的结构相似度值,记为QR其中,LM,R=b1×LM,e,R+b2×LM,f,R+b3×LM,t,R,Qm,R=b1×Qm,e,R+b2×Qm,f,R+b3×Qm,t,R L M , e , R = 1 N e , R Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , R ( i , j ) × U M dis , R ( i , j ) × A M , e R ( i , j ) + C 1 ( U M org , R ( i , j ) × A M , e R ( i , j ) ) 2 + ( U M dis , R ( i , j ) × A M , e R ( i , j ) ) 2 + C 1 , N e , R = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , e R ( i , j ) , L M , f , R = 1 N f , R Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , R ( i , j ) × U M dis , R ( i , j ) × A M , f R ( i , j ) + C 1 ( U M org , R ( i , j ) × A M , f R ( i , j ) ) 2 + ( U M dis , R ( i , j ) × A M , f R ( i , j ) ) 2 + C 1 , N f , R = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , f R ( i , j ) , L M , t , R = 1 N t , R Σ i = 0 W M - 8 Σ j = 0 H M - 8 2 × U M org , R ( i , j ) × U M dis , R ( i , j ) × A M , t R ( i , j ) + C 1 ( U M org , R ( i , j ) × A M , t R ( i , j ) ) 2 + ( U M dis , R ( i , j ) × A M , t R ( i , j ) ) 2 + C 1 , N t , R = Σ i = 0 W M - 8 Σ j = 0 H M - 8 A M , t R ( i , j ) , Qm,e,R=Hm,e,R×Gm,e,R,Qm,f,R=Hm,f,R×Gm,f,R,Qm,t,R=Hm,t,R×Gm,t,R H m , e , R = 1 N e , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m R ( i , j ) × A m , e R ( i , j ) + C 3 σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , e R ( i , j ) + C 3 , H m , f , R = 1 N f , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m R ( i , j ) × A m , f R ( i , j ) + C 3 σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , f R ( i , j ) + C 3 , H m , t , R = 1 N t , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 B m R ( i , j ) × A m , t R ( i , j ) + C 3 σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , t R ( i , j ) + C 3 , G m , e , R = 1 N e , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 2 × σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , e R ( i , j ) + C 2 ( σ m org , R ( i , j ) × A m , e R ( i , j ) ) 2 + ( σ m dis , R ( i , j ) × A m , e R ( i , j ) ) 2 + C 2 , G m , f , R = 1 N f , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 2 × σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , f R ( i , j ) + C 2 ( σ m org , R ( i , j ) × A m , f R ( i , j ) ) 2 + ( σ m dis , R ( i , j ) × A m , f R ( i , j ) ) 2 + C 2 , G m , t , R = 1 N t , R Σ i = 0 W m - 8 Σ j = 0 H m - 8 2 × σ m org , R ( i , j ) × σ m dis , R ( i , j ) × A m , t R ( i , j ) + C 2 ( σ m org , R ( i , j ) × A m , t R ( i , j ) ) 2 + ( σ m dis , R ( i , j ) × A m , t R ( i , j ) ) 2 + C 2 , 此处αm表示Qm,R对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,表示Rorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rdis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数;
⑥根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=ωl×QLr×QR,其中,ωl表示QL的权值,ωr表示QR的权值;
⑦计算Lorg与Rorg的绝对差值图像,记为 计算Ldis与Rdis的绝对差值图像,记为 其中,“||”为取绝对值符号;
⑧对分别实施区域划分,得到各自对应的三个区域系数矩阵,三个区域分别为边缘区域、平坦区域和纹理区域,将的边缘区域系数矩阵均记为 的平坦区域系数矩阵均记为 的纹理区域系数矩阵均记为 其中,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,此处0≤i<(W-7),0≤j<(H-7),W表示的宽度,H表示的高度;
⑨将分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算中所有坐标位置相同的两个重叠块的亮度失真映射图的系数矩阵、结构失真映射图的系数矩阵及灵敏度失真映射图的系数矩阵,分别记为PLR、KLR及ELR,对于中左上角的像素点的坐标位置为(i,j)的重叠块,将其定义为当前重叠块,计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的亮度失真映射值,记为 P LR ( i , j ) , P LR ( i , j ) = 0.9 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) > 127 1 U org LR ( i , j ) = 127 0.3 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) < 127 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的结构失真映射值,记为KLR(i,j), K LR ( i , j ) = ( ( &sigma; org LR ( i , j ) ) 2 - ( &sigma; dis LR ( i , j ) ) 2 ) 2 + C 4 ( ( &sigma; org LR ( i , j ) ) 2 ) 2 + ( ( &sigma; dis LR ( i , j ) ) 2 ) 2 - 2 ( &sigma; org , dis LR ( i , j ) ) 2 + C 4 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的灵敏度失真映射值,记为ELR(i,j), E LR ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( D LR org ( i + x , j + y ) - D LR dis ( i + x , j + y ) ) 2 , 其中,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差,C4是常数,且C4≠0,表示中坐标位置为(i+x,j+y)的像素点的像素值,表示中坐标位置为(i+x,j+y)的像素点的像素值,此处0≤i<(W-7),0≤j<(H-7);
⑩计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS,Qs=b1×Qe+b2×Qf+b3×Qt,其中, Q e = 1 N e , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A e LR ( i , j ) ) , N e , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A e LR ( i , j ) , Q f = 1 N f , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A f LR ( i , j ) ) , N f , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A f LR ( i , j ) , Q t = 1 N t , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A t LR ( i , j ) ) , N t , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A t LR ( i , j ) ;
根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)λ,其中,λ表示权重系数值。
所述的步骤③中对Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-a1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l和Zv,l,然后计算对应的图像的梯度幅值映射图,记为Zl,将对应的图像的梯度幅值映射图Zl中坐标位置为(i,j)的像素点的梯度幅值记为Zl(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
③-a2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r和Zv,r,然后计算对应的图像的梯度幅值映射图,记为Zr,将对应的图像的梯度幅值映射图Zr中坐标位置为(i,j)的像素点的梯度幅值记为Zr(i,j);
③-a3、计算区域划分时所需的双阈值T1和T2,T1=0.06×max(Zl),T2=0.12×max(Zl),其中,max()为取最大值函数;
③-a4、根据对应的图像的梯度幅值映射图Zl对应的图像的梯度幅值映射图Zr,判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl(i,j)>T2或Zr(i,j)>T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl(i,j)<T1且Zr(i,j)<T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1≤Zl(i,j)≤T2且Zr(i,j)≤T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且令
所述的步骤③中对Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-b1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l′和Zv,l′,然后计算对应的图像的梯度幅值映射图,记为Zl′,将对应的图像的梯度幅值映射图Zl′中坐标位置为(i,j)的像素点的梯度幅值记为Zl′(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
③-b2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r′和Zv,r′,然后计算对应的图像的梯度幅值映射图,记为Zr′,将对应的图像的梯度幅值映射图Zr′中坐标位置为(i,j)的像素点的梯度幅值记为Zr′(i,j);
③-b3、计算区域划分时所需的双阈值T1′和T2′,T1′=0.06×max(Zl′),T2′=0.12×max(Zl′),其中,max()为取最大值函数;
③-b4、根据对应的图像的梯度幅值映射图Zl′和对应的图像的梯度幅值映射图Zr′,判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl′(i,j)>T2′或Zr′(i,j)>T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl′(i,j)<T1′且Zr′(i,j)<T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1′≤Zl′(i,j)≤T2′且Zr′(i,j)≤T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且
所述的步骤中权重系数值λ的获取过程为:
-1、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1;
-2、利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像与其对应的无失真的立体图像的平均主观评分值的差值,记为DMOS,DMOS∈[0,100];
-3、根据步骤①至⑩的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS
-4、采用数学优化方法来拟合失真立体图像集中的每幅失真的立体图像对应的DMOS及对应的空间频率相似度度量QF和立体感知评价度量QS,拟合函数为DMOS=QF×(QS)λ,从而得到最优情况下的λ值。
与现有技术相比,本发明的优点在于通过分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像进行低通滤波和下采样处理,得到各个不同尺度的图像,然后对其进行区域划分,提取各尺度各区域的结构相似度度量值,然后根据人眼视觉感知决定的权值进行线性加权得到左视点图像质量和右视点图像质量,进而得到左右视点图像质量评价值;然后,通过评价无失真的立体图像和失真的立体图像的左右图像的绝对差值图像的不同区域的结构失真、灵敏度失真和亮度失真,通过人眼视觉感知决定的权值进行线性加权来实现对立体感知质量的评价;最后将左右视点图像质量和立体感知质量两者相结合,得到立体图像的最终质量评价结果,由于本发明方法在立体图像客观质量评价过程中在考虑图像质量损失的同时,有效地利用了深度感知特性及人眼视觉感知特性,因此提高了客观评价结果与主观感知的一致性,为各种立体图像处理算法的评判提供准确的判断依据。
附图说明
图1为本发明方法的总体实现框图;
图2为5级无失真Newspaper立体图像中的左视点图像经过五级滤波及下采样的中间变换图;
图3a为Akko&Kayo(640×480)立体图像;
图3b为Alt Moabit(1024×768)立体图像;
图3c为Balloons(1024×768)立体图像;
图3d为Door Flowers(1024×768)立体图像;
图3e为Kendo(1024×768)立体图像;
图3f为Leaving Laptop(1024×768)立体图像;
图3g为Lovebird1(1024×768)立体图像;
图3h为Newspaper(1024×768)立体图像;
图3i为Xmas(640×480)立体图像;
图3j为Puppy(720×480)立体图像;
图3k为Soccer2(720×480)立体图像;
图3l为Horse(480×270)立体图像;
图4a为Newspaper立体图像对的无失真左视点图像和其经过均值为0方差为0.5模糊失真的失真图像分割的边缘区域图;
图4b为Newspaper立体图像对的无失真左视点图像和其经过均值为0方差为0.5模糊失真的失真图像分割的纹理区域图;
图4c为Newspaper立体图像对的无失真左视点图像和其经过均值为0方差为0.5模糊失真的失真图像分割的平坦区域图;
图5a为λ与主观评价值相关系数CC之间的关系曲线图;
图5b为λ与主观评价值均方误差RMSE之间的关系曲线图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于视觉感知的立体图像客观质量评价方法,其充分考虑了人眼视觉感知特性,其分别评价了左右视点图像质量以及立体图像的立体感知质量,对左右视点图像质量和深度感知质量进行非线性加权,得到立体图像的最终质量评价值。图1给出了本发明方法的总体实现框图,其具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级正交小波9/7滤波和下采样的尺度分解,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Ldis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rdis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为其中,1≤m≤M。
图2给出了5级无失真Newspaper立体图像中的左视点图像经过五级滤波及下采样的中间变换图。每一个尺度上的矩阵的分辨率是上一级尺度的1/4。
③对Lorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Lorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Ldis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Ldis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rdis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rdis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,其中,三个区域分别为边缘区域、平坦区域和纹理区域;将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,其中,0≤i<(Wm-7),0≤j<(Hm-7),Wm表示 对应的图像的宽度,Hm表示对应的图像的高度。
在此具体实施例中,对Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-a1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l和Zv,l然后计算对应的图像的梯度幅值映射图,记为Zl,将对应的图像的梯度幅值映射图Zl中坐标位置为(i,j)的像素点的梯度幅值记为Zl(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度。
③-a2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r和Zv,r,然后计算对应的图像的梯度幅值映射图,记为Zr,将对应的图像的梯度幅值映射图Zr中坐标位置为(i,j)的像素点的梯度幅值记为Zr(i,j)。
③-a3、计算区域划分时所需的双阈值T1和T2,T1=0.06×max(Zl),T2=0.12×max(Zl),其中,max()为取最大值函数。
③-a4、根据对应的图像的梯度幅值映射图Zl对应的图像的梯度幅值映射图Zr,判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl(i,j)>T2或Zr(i,j)>T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl(i,j)<T1且Zr(i,j)<T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1≤Zl(i,j)≤T2且Zr(i,j)≤T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且令
在此具体实施例中,对Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-b1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l′和Zv,l′,然后计算对应的图像的梯度幅值映射图,记为Zl′,将对应的图像的梯度幅值映射图Zl′中坐标位置为(i,j)的像素点的梯度幅值记为Zl′(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度。
③-b2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r′和Zv,r′,然后计算对应的图像的梯度幅值映射图,记为Zr′,将对应的图像的梯度幅值映射图Zr′中坐标位置为(i,j)的像素点的梯度幅值记为Zr′(i,j)。
③-b3、计算区域划分时所需的双阈值T1′和T2′,T1′=0.06×max(Zl′),T2′=0.12×max(Zl′),其中,max()为取最大值函数。
③-b4、根据对应的图像的梯度幅值映射图Zl′和对应的图像的梯度幅值映射图Zr′,判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl′(i,j)>T2′或Zr′(i,j)>T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl′(i,j)<T1′且Zr′(i,j)<T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1′≤Zl′(i,j)≤T2′且Zr′(i,j)≤T2′,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且令
在本实施例中,利用图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k和图3l所示的12对无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真类型包括JPEG压缩、JP2K压缩、高斯白噪声、高斯模糊和H264编码失真,且立体图像对的左图像和右图像同时同程度失真,该失真立体图像集共包括312对失真的立体图像,其中JPEG压缩的失真的立体图像共60对,JPEG2000压缩的失真的立体图像共60对,高斯白噪声失真的立体图像共60对,高斯模糊失真的立体图像共60对,H264编码失真的立体图像共72对。对上述312对立体图像进行如上所述的区域划分。图4a、图4b和图4c分别给出了Newspaper立体图像对的无失真左视点图像和其经过均值为0方差为0.5模糊失真的失真图像分割的边缘区域图、纹理区域图和平坦区域图。
④将Lorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Ldis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Lorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m org , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m org , L ( i + x , j + y ) , &sigma; m org , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) 2 , 将Ldis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m dis , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m dis , L ( i + x , j + y ) , &sigma; m dis , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) 2 , 将Lorg的第m个子带的系数矩阵对应的图像中与Ldis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) &times; ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7)。
将Rorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Rdis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Rorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m org , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m org , R ( i + x , j + y ) , &sigma; m org , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) 2 , 将Rdis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m dis , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m dis , R ( i + x , j + y ) , &sigma; m dis , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m dis , R ( i + x , j + y ) - U m dis , R ( i , j ) ) 2 , 将Rorg的第m个子带的系数矩阵对应的图像中与Rdis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) &times; ( C m dis , R ( i + x , j + y ) - U m dis , R ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7)。
在此,为了充分利用图像中像素点之间的关联性,一个尺寸大小为8×8的重叠块与其最相邻的左重叠块或右重叠块有7列重叠,同样,该尺寸大小为8×8的重叠块与其最相邻的上重叠块或下重叠块有7行重叠。
⑤计算Lorg和Ldis的结构相似度值,记为QL其中,LM,L=b1×LM,e,L+b2×LM,f,L+b3×LM,t,L,Qm,L=b1×Qm,e,L+b2×Qm,f,L+b3×Qm,t,L L M , e , L = 1 N e , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , e L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , e L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , e L ( i , j ) ) 2 + C 1 , N e , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , e L ( i , j ) , L M , f , L = 1 N f , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , f L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , f L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , f L ( i , j ) ) 2 + C 1 , N f , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , f L ( i , j ) , L M , t , L = 1 N t , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , t L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , t L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , t L ( i , j ) ) 2 + C 1 , N t , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , t L ( i , j ) , Qm,e,L=Hm,e,L×Gm,e,L,Qm,f,L=Hm,f,L×Gm,f,L,Qm,t,L=Hm,t,L×Gm,t,L H m , e , L = 1 N e , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , e L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) + C 3 , H m , f , L = 1 N f , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , f L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) + C 3 , H m , t , L = 1 N t , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , t L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) + C 3 , G m , e , L = 1 N e , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , e L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) ) 2 + C 2 , G m , f , L = 1 N f , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , f L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) ) 2 + C 2 , G m , t , L = 1 N t , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , t L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) ) 2 + C 2 , 此处αm表示Qm,L对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,C1、C2和C3均为常数,C1、C2和C3是为了防止当公式中的分母接近零时产生不稳定现象所添加的常数,且C1≠0,C2≠0,C3≠0,表示Lorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Ldis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵中坐标位置为(i,j)处的系数,WM表示对应的图像的宽度,HM表示对应的图像的高度。
计算Rorg和Rdis的结构相似度值,记为QR其中,LM,R=b1×LM,e,R+b2×LM,f,R+b3×LM,t,R,Qm,R=b1×Qm,e,R+b2×Qm,f,R+b3×Qm,t,R L M , e , R = 1 N e , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , e R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , e R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , e R ( i , j ) ) 2 + C 1 , N e , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , e R ( i , j ) , L M , f , R = 1 N f , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , f R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , f R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , f R ( i , j ) ) 2 + C 1 , N f , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , f R ( i , j ) , L M , t , R = 1 N t , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , t R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , t R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , t R ( i , j ) ) 2 + C 1 , N t , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , t R ( i , j ) , Qm,e,R=Hm,e,R×Gm,e,R,Qm,f,R=Hm,f,R×Gm,f,R,Qm,t,R=Hm,t,R×Gm,t,R H m , e , R = 1 N e , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , e R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) + C 3 , H m , f , R = 1 N f , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , f R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) + C 3 , H m , t , R = 1 N t , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , t R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) + C 3 , G m , e , R = 1 N e , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , e R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) ) 2 + C 2 , G m , f , R = 1 N f , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , f R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) ) 2 + C 2 , G m , t , R = 1 N t , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , t R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) ) 2 + C 2 , 此处αm表示Qm,R对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,表示Rorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rdis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数。
在此,C1、C2和C3是为了避免公式中的分母出现为零的情况,在本实施例中取C1=2.56,C2=7.68,C3=3.84。αm值决定不同尺度上的评价值对立体图像质量的贡献大小,在本实施例中,当M=5时,取α1=0.0448、α2=0.0.2856、α3=0.3001、α4=0.2363、α5=0.1333。由于不同区域人眼的敏感度不同,针对块效应人眼对平坦区域比纹理区域更敏感;针对模糊失真人眼对纹理区域比平坦区域更敏感,即总体来说,人眼对边缘区域比纹理区域和平坦区域更敏感,因此为了适合各种失真类型,且减少计算复杂度,边缘区域的权值b1取0.5,平坦区域权值b2纹理区域权值b3均取0.25。
⑥根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=ωl×QLr×QR,其中,ωl表示QL的权值,ωr表示QR的权值。
在本实施例中,ωl和ωr决定了QL和QR对立体图像质量的贡献,针对块效应,立体图像质量大概是左视点图像质量和右视点图像质量之和的一半;针对模糊失真,立体图像质量主要取决于质量较好的那个视点。因此为了降低模型的计算复杂度,在此取ωl=ωr=0.5。
⑦计算Lorg与Rorg的绝对差值图像,记为 计算Ldis与Rdis的绝对差值图像,记为 其中,“||”为取绝对值符号。
⑧对分别实施区域划分,得到各自对应的三个区域系数矩阵,三个区域分别为边缘区域、平坦区域和纹理区域,将的边缘区域系数矩阵均记为 的平坦区域系数矩阵均记为 的纹理区域系数矩阵均记为 其中,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,此处0≤i<(W-7),0≤j<(H-7),W表示的宽度,H表示的高度。
在此,区域划分的过程按照步骤③所述的过程进行操作。利用图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k和图3l所示的12对无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集。首先计算出这12幅无失真的立体图像对的绝对差值图像,然后计算出该库中312幅失真立体图像对的绝对差值图像,最后根据步骤③的区域划分过程得到失真的312幅立体图像对(原始绝对差值图像和失真绝对差值图像)在感知评价中的边缘区域系数矩阵纹理系s数矩阵和平坦区域系数矩阵
⑨将分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算中所有坐标位置相同的两个重叠块的亮度失真映射图的系数矩阵、结构失真映射图的系数矩阵及灵敏度失真映射图的系数矩阵,分别记为PLR、KLR及ELR,对于中左上角的像素点的坐标位置为(i,j)的重叠块,将其定义为当前重叠块,计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的亮度失真映射值,记为 P LR ( i , j ) , P LR ( i , j ) = 0.9 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) > 127 1 U org LR ( i , j ) = 127 0.3 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) < 127 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的结构失真映射值,记为KLR(i,j), K LR ( i , j ) = ( ( &sigma; org LR ( i , j ) ) 2 - ( &sigma; dis LR ( i , j ) ) 2 ) 2 + C 4 ( ( &sigma; org LR ( i , j ) ) 2 ) 2 + ( ( &sigma; dis LR ( i , j ) ) 2 ) 2 - 2 ( &sigma; org , dis LR ( i , j ) ) 2 + C 4 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的灵敏度失真映射值,记为ELR(i,j), E LR ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( D LR org ( i + x , j + y ) - D LR dis ( i + x , j + y ) ) 2 , 其中,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差,C4是常数,且C4≠0,表示中坐标位置为(i+x,j+y)的像素点的像素值,表示中坐标位置为(i+x,j+y)的像素点的像素值,此处0≤i<(W-7),0≤j<(H-7)。
在本实施例中,C4主要是为了避免 K LR ( i , j ) = ( ( &sigma; org LR ( i , j ) ) 2 - ( &sigma; dis LR ( i , j ) ) 2 ) 2 + C 4 ( ( &sigma; org LR ( i , j ) ) 2 ) 2 + ( ( &sigma; dis LR ( i , j ) ) 2 ) 2 - 2 ( &sigma; org , dis LR ( i , j ) ) 2 + C 4 中的分母接近零时产生不稳定现象所添加的常数,在此取C4=2.56。
⑩计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS,Qs=b1×Qe+b2×Qf+b3×Qt,其中, Q e = 1 N e , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A e LR ( i , j ) ) , N e , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A e LR ( i , j ) , Q f = 1 N f , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A f LR ( i , j ) ) , N f , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A f LR ( i , j ) , Q t = 1 N t , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A t LR ( i , j ) ) , N t , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A t LR ( i , j ) .
根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)λ,其中,λ表示权重系数值。
在此具体实施例中,权重系数值λ的获取过程为:
-1、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1。
-2、利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像与其对应的无失真的立体图像的平均主观评分值的差值,记为DMOS,DMOS∈[0,100]。
-3、根据步骤①至⑩的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS
-4、采用数学优化方法来拟合失真立体图像集中的每幅失真的立体图像对应的DMOS及对应的空间频率相似度度量QF和立体感知评价度量QS,拟合函数为DMOS=QF×(QS)λ,从而得到最优情况下的λ值。
在本实施例中,利用图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j、图3k和图3l所示的12幅无失真的立体图像建立的312幅立体图像集,对这312对失真的立体图像采用公知的主观质量评价方法进行主观评价评价,得到312对失真的立体图像各自的平均主观评分差值(DMOS,Difference MeanOpinion Scores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS,因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100];另一方面,对上述312对失真的立体图像按本发明方法步骤(1)至(10)计算得到每幅失真的立体图像相应的QF和QS;然后采用Q=QF×(QS)λ进行作四参数Logistic函数非线性拟合,得到λ。在此,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Correlation Coefficient,CC)和均方误差系数(Rooted Mean Squared Error,RMSE),前者反映失真的立体图像评价函数这一客观模型的精度,后者反映其预测的准确性。图5a和图5b分别给出了λ与主观评价因子CC和RMSE之间的关系,λ值的大小决定左右视点图像质量和深度感知质量对最终的立体图像质量的贡献大小,λ值过大或过小,都会影响立体图像客观质量评价模型与主观感知之间的一致性,主要是由于某一方面因素影响太大,忽略了另一方面的因素。从图5a和图5b可知,CC值先随着λ值的增大而增大,当达到一定程度时,又会随着λ值的增大而减少;而RMSE则会相反,先随着λ值增大而减少,然后随着λ值增大而增大。图5a和图5b中出现极值的位置大致相同,当λ值去到极值时,立体图像客观质量评价模型与主观感知之间的一致性最好,因此在此取λ=0.03。
分析本实施例得到的失真的立体图像的图像质量评价函数Q=QF×(QS)0.03的最终评价结果与主观评分DMOS之间的相关性。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即CC、Spearman相关系数(Spearman Rank-OrderCorrelation Coefficient,SROCC)和RMSE。SROCC反映客观模型与主观感知之间的单调性情况。首先按本实施例得到的失真立体图像的图像质量评价函数Q=QF×(QS)0.03计算得到的最终立体图像质量评价结果的输出值Q,然后将输出值Q做四参数Logistic函数非线性拟合,最后得到立体客观评价模型与主观感知之间的性能指标值。CC和SROCC值越高说明立体图像客观评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观评价方法与DMOS相关性越好。反映准确性和单调性的CC、SROCC和RMSE系数如表1所列,由表1所列的数据可见,按本实施例得到的失真立体图像的图像质量评价函数Q=QF×(QS)0.03计算得到的最终评价结果的输出值Q与主观评分DMOS之间的相关性是很高的,CC值超过0.93,SROCC超过0.92,RMSE值低于6,表明客观评价结果与人眼主观感知的结果较为一致,说明了本发明方法的有效性。
表1本实施得到的失真立体图像的图像质量评价分值与主观评分之间的相关性
  Gblur   JP2K   JPEG   WN   H264   ALL
  图片数目(对)   60   60   60   60   72   312
  CC   0.9787   0.9537   0.9331   0.9537   0.9643   0.9380
  SROCC   0.9773   0.9499   0.9418   0.9258   0.9537   0.9458
  RMSE   4.3260   3.6045   5.1221   4.7007   3.7156   5.9523

Claims (3)

1.一种基于视觉感知的立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级正交小波9/7滤波和下采样的尺度分解,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的M个子带的系数矩阵,将Lorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Ldis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rdis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为其中,1≤m≤M;
③对Lorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Lorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Ldis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Ldis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,对Rdis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分,得到Rdis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵,其中,三个区域分别为边缘区域、平坦区域和纹理区域;将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Lorg的第m个子带的系数矩阵对应的图像Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于边缘区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于平坦区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i,j)的两个像素点,判断该两个像素点是否均属于纹理区域,如果是,则将中坐标位置为(i,j)处的系数赋值为1,否则,将中坐标位置为(i,j)处的系数赋值为0,其中,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
④将Lorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Ldis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Lorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 &sigma; m org , L , U m , org , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m org , L ( i + x , j + y ) , &sigma; m , org , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) 2 , 将Ldis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 &sigma; m dis , L , U m , dis , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m dis , L ( i + x , j + y ) , &sigma; m , dis , L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) 2 , 将Lorg的第m个子带的系数矩阵对应的图像中与Ldis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m L ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( ( C m org , L ( i + x , j + y ) - U m org , L ( i , j ) ) &times; ( C m dis , L ( i + x , j + y ) - U m dis , L ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7);
将Rorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,将Rdis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块,然后分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,并分别计算Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图,再分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图,将Rorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 &sigma; m org , R , U m , org , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m org , R ( i + x , j + y ) , &sigma; m , org , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) 2 , 将Rdis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为 U m , dis , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 C m dis , R ( i + x , j + y ) &sigma; m , dis , R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( C m dis , R ( i + x , j + y ) - U m dis , R ( i , j ) ) 2 , 将Rorg的第m个子带的系数矩阵对应的图像中与Rdis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为 B m R ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( ( C m org , R ( i + x , j + y ) - U m org , R ( i , j ) ) &times; ( C m dis , R i + x , j + y ) - U m dis , R ( i , j ) ) ) , 其中,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的均值,表示中坐标位置为(i+x,j+y)处的系数,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块所有像素点的标准差,表示对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差值,此处0≤i<(Wm-7),0≤j<(Hm-7);
⑤计算Lorg和Ldis的结构相似度值,记为QL其中,LM,L=b1×LM,e,L+b2×LM,f,L+b3×LM,t,L,Qm,L=b1×Qm,e,L+b2×Qm,f,L+b3×Qm,t,L L M , e , L = 1 N e , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , e L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , e L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , e L ( i , j ) ) 2 + C 1 , N e , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , e L ( i , j ) , L M , f , L = 1 N f , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , f L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , f L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , f L ( i , j ) ) 2 + C 1 , N f , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , f L ( i , j ) , L M , t , L = 1 N t , L &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , L ( i , j ) &times; U M dis , L ( i , j ) &times; A M , t L ( i , j ) + C 1 ( U M org , L ( i , j ) &times; A M , t L ( i , j ) ) 2 + ( U M dis , L ( i , j ) &times; A M , t L ( i , j ) ) 2 + C 1 , N t , L = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , t L ( i , j ) , Qm,e,L=Hm,e,L×Gm,e,L,Qm,f,L=Hm,f,L×Gm,f,L,Qm,t,L=Hm,t,L×Gm,t,L H m , e , L = 1 N e , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , e L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) + C 3 , H m , f , L = 1 N f , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , f L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) + C 3 , H m , t , L = 1 N t , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m L ( i , j ) &times; A m , t L ( i , j ) + C 3 &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) + C 3 , G m , e , L = 1 N e , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , e L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , e L ( i , j ) ) 2 + C 2 , G m , f , L = 1 N f , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , f L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , f L ( i , j ) ) 2 + C 2 , G m , t , L = 1 N t , L &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , L ( i , j ) &times; &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) + C 2 ( &sigma; m org , L ( i , j ) &times; A m , t L ( i , j ) ) 2 + ( &sigma; m dis , L ( i , j ) &times; A m , t L ( i , j ) ) 2 + C 2 , 此处αm表示Qm,L对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,C1、C2和C3均为常数,且C1≠0,C2≠0,C3≠0,表示Lorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Ldis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵中坐标位置为(i,j)处的系数,表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵中坐标位置为(i,j)处的系数,WM表示对应的图像的宽度,HM表示对应的图像的高度;
计算Rorg和Rdis的结构相似度值,记为QR其中, L M , R = b 1 &times; L M , e , R + b 2 &times; L M , f , R + b 3 &times; L M , t , R , Q m , R = b 1 &times; Q m , e , R + b 2 &times; Q m , f , R + b 3 &times; Q m , t , R , L M , e , R = 1 N e , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , e R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , e R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , e R ( i , j ) ) 2 + C 1 , N e , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , e R ( i , j ) , L M , f , R = 1 N f , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , f R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , f R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , f R ( i , j ) ) 2 + C 1 , N f , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , f R ( i , j ) , L M , t , R = 1 N t , R &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 2 &times; U M org , R ( i , j ) &times; U M dis , R ( i , j ) &times; A M , t R ( i , j ) + C 1 ( U M org , R ( i , j ) &times; A M , t R ( i , j ) ) 2 + ( U M dis , R ( i , j ) &times; A M , t R ( i , j ) ) 2 + C 1 , N t , R = &Sigma; i = 0 W M - 8 &Sigma; j = 0 H M - 8 A M , t R ( i , j ) , Qm,e,R=Hm,e,R×Gm,e,R,Qm,f,R=Hm,f,R×Gm,f,R,Qm,t,R=Hm,t,R×Gm,t,R H m , e , R = 1 N e , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , e R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) + C 3 , H m , f , R = 1 N f , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , f R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) + C 3 , H m , t , R = 1 N t , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 B m R ( i , j ) &times; A m , t R ( i , j ) + C 3 &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) + C 3 , G m , e , R = 1 N e , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , e R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , e R ( i , j ) ) 2 + C 2 , G m , f , R = 1 N f , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , f R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , f R ( i , j ) ) 2 + C 2 , G m , t , R = 1 N t , R &Sigma; i = 0 W m - 8 &Sigma; j = 0 H m - 8 2 &times; &sigma; m org , R ( i , j ) &times; &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) + C 2 ( &sigma; m org , R ( i , j ) &times; A m , t R ( i , j ) ) 2 + ( &sigma; m dis , R ( i , j ) &times; A m , t R ( i , j ) ) 2 + C 2 , 此处αm表示Qm,R对应的权值,此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值,表示Rorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rdis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数,表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i,j)处的系数;
⑥根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=ωl×QLr×QR,其中,ωl表示QL的权值,ωr表示QR的权值;
⑦计算Lorg与Rorg的绝对差值图像,记为计算Ldis与Rdis的绝对差值图像,记为其中,“||”为取绝对值符号;
⑧对分别实施区域划分,得到各自对应的三个区域系数矩阵,三个区域分别为边缘区域、平坦区域和纹理区域,将的边缘区域系数矩阵均记为的平坦区域系数矩阵均记为的纹理区域系数矩阵均记为 其中,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,表示中坐标位置为(i,j)处的系数,此处0≤i<(W-7),0≤j<(H-7),W表示的宽度,H表示的高度;
⑨将分别分割成(W-7)×(H-7)个尺寸大小为8×8的重叠块,然后计算中所有坐标位置相同的两个重叠块的亮度失真映射图的系数矩阵、结构失真映射图的系数矩阵及灵敏度失真映射图的系数矩阵,分别记为PLR、KLR及ELR,对于中左上角的像素点的坐标位置为(i,j)的重叠块,将其定义为当前重叠块,计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的亮度失真映射值,记为 P LR ( i , j ) , P LR ( i , j ) = 0.9 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) > 127 1 U org LR ( i , j ) = 127 0.3 &times; 1 | U org LR ( i , j ) - 127 | U org LR ( i , j ) < 127 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的结构失真映射值,记为KLR(i,j), K LR ( i , j ) = ( ( &sigma; org LR ( i , j ) ) 2 - ( &sigma; dis LR ( i , j ) ) 2 ) 2 + C 4 ( ( &sigma; org LR ( i , j ) ) 2 ) 2 + ( ( &sigma; dis LR ( i , j ) ) 2 ) 2 - 2 ( &sigma; org , dis LR ( i , j ) ) 2 + C 4 , 计算当前重叠块与中与当前重叠块坐标位置相同的重叠块的灵敏度失真映射值,记为ELR(i,j), E LR ( i , j ) = 1 64 &Sigma; x = 0 7 &Sigma; y = 0 7 ( D LR org ( i + x , j + y ) - D LR dis ( i + x , j + y ) ) 2 , 其中,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的均值,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的标准差,表示中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点和中左上角的像素点的坐标位置为(i,j)的重叠块中所有像素点的协方差,C4是常数,且C4≠0,表示中坐标位置为(i+x,j+y)的像素点的像素值,表示中坐标位置为(i+x,j+y)的像素点的像素值,此处0≤i<(W-7),0≤j<(H-7);
⑩计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的立体感知评价度量,记为QS,Qs=b1×Qe+b2×Qf+b3×Qt,其中, Q e = 1 N e , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A e LR ( i , j ) ) , N e , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A e LR ( i , j ) , Q f = 1 N f , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A f LR ( i , j ) ) , N f , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A f LR ( i , j ) , Q t = 1 N t , LR &Sigma; i = 0 W - 7 &Sigma; j = 0 H - 7 ( P LR ( i , j ) &times; E LR ( i , j ) &times; K LR ( i , j ) &times; A t LR ( i , j ) ) , N t , LR = &Sigma; i = 0 W - 8 &Sigma; j = 0 H - 8 A t LR ( i , j ) ;
根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=QF×(QS)λ,其中,λ表示权重系数值。
2.根据权利要求1所述的一种基于视觉感知的立体图像客观质量评价方法,其特征在于所述的步骤③中对Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-a1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l和Zv,l,然后计算对应的图像的梯度幅值映射图,记为Zl,将对应的图像的梯度幅值映射图Zl中坐标位置为(i,j)的像素点的梯度幅值记为Zl(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
③-a2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r和Zv,r,然后计算对应的图像的梯度幅值映射图,记为Zr,将对应的图像的梯度幅值映射图Zr中坐标位置为(i,j)的像素点的梯度幅值记为Zr(i,j);
③-a3、计算区域划分时所需的双阈值T1和T2,T1=0.06×max(Zl),T2=0.12×max(Zl),其中,max()为取最大值函数;
③-a4、根据对应的图像的梯度幅值映射图Zl对应的图像的梯度幅值映射图Zr,判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl(i,j)>T2或Zr(i,j)>T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl(i,j)<T1且Zr(i,j)<T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1≤Zl(i,j)≤T2且Zr(i,j)≤T2,则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且令
所述的步骤③中对Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分获取边缘区域系数矩阵平坦区域系数矩阵和纹理区域系数矩阵的具体过程为:
③-b1、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,l'和Zv,l',然后计算对应的图像的梯度幅值映射图,记为Zl',将对应的图像的梯度幅值映射图Zl'中坐标位置为(i,j)的像素点的梯度幅值记为Zl'(i,j),此处0≤i<(Wm-7),0≤j<(Hm-7),Wm表示对应的图像的宽度,Hm表示对应的图像的高度;
③-b2、对对应的图像作Sobel算子处理,得到对应的图像的水平方向梯度图像和垂直方向梯度图像,分别记为Zh,r'和Zv,r',然后计算对应的图像的梯度幅值映射图,记为Zr',将对应的图像的梯度幅值映射图Zr'中坐标位置为(i,j)的像素点的梯度幅值记为Zr'(i,j);
③-b3、计算区域划分时所需的双阈值T1'和T2',T1'=0.06×max(Zl'),T2'=0.12×max(Zl'),其中,max()为取最大值函数;
③-b4、根据对应的图像的梯度幅值映射图Zl'和对应的图像的梯度幅值映射图Zr',判定对应的图像和对应的图像中所有坐标位置相同的两个像素点为边缘像素点或平坦像素点或纹理像素点,对于对应的图像和对应的图像中坐标位置均为(i,j)的像素点,如果Zl'(i,j)>T2'或Zr'(i,j)>T2',则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为边缘像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非边缘像素点,且令如果Zl'(i,j)<T1'且Zr'(i,j)<T2',则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为平坦像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非平坦像素点,且令如果T1'≤Zl'(i,j)≤T2'且Zr'(i,j)≤T2',则确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为纹理像素点,且令否则,确定对应的图像和对应的图像中坐标位置均为(i,j)的像素点为非纹理像素点,且令
3.根据权利要求1或2所述的一种基于视觉感知的立体图像客观质量评价方法,其特征在于所述的步骤中权重系数值λ的获取过程为:
采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1;
利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像与其对应的无失真的立体图像的平均主观评分值的差值,记为DMOS,DMOS∈[0,100];
根据步骤①至⑩的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS
采用数学优化方法来拟合失真立体图像集中的每幅失真的立体图像对应的DMOS及对应的空间频率相似度度量QF和立体感知评价度量QS,拟合函数为DMOS=QF×(QS)λ,从而得到最优情况下的λ值。
CN201210081617.1A 2012-03-23 2012-03-23 一种基于视觉感知的立体图像客观质量评价方法 Expired - Fee Related CN102663747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210081617.1A CN102663747B (zh) 2012-03-23 2012-03-23 一种基于视觉感知的立体图像客观质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210081617.1A CN102663747B (zh) 2012-03-23 2012-03-23 一种基于视觉感知的立体图像客观质量评价方法

Publications (2)

Publication Number Publication Date
CN102663747A CN102663747A (zh) 2012-09-12
CN102663747B true CN102663747B (zh) 2014-08-27

Family

ID=46773225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210081617.1A Expired - Fee Related CN102663747B (zh) 2012-03-23 2012-03-23 一种基于视觉感知的立体图像客观质量评价方法

Country Status (1)

Country Link
CN (1) CN102663747B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917157A (zh) * 2012-10-19 2013-02-06 北京快联科技有限公司 一种基于人体视觉***的图片压缩***及方法
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN102982532B (zh) * 2012-10-31 2015-06-17 宁波大学 一种基于矩阵分解的立体图像客观质量评价方法
CN102999911B (zh) * 2012-11-27 2015-06-03 宁波大学 一种基于能量图的立体图像质量客观评价方法
CN103108209B (zh) * 2012-12-28 2015-03-11 宁波大学 基于视觉阈值与通道融合的立体图像客观质量评价方法
CN103136748B (zh) * 2013-01-21 2015-10-28 宁波大学 一种基于特征图的立体图像质量客观评价方法
CN103208011B (zh) * 2013-05-05 2016-01-13 西安电子科技大学 基于均值漂移和组稀疏编码的高光谱图像空谱域分类方法
CN107578406A (zh) * 2017-09-06 2018-01-12 天津大学 基于网格与韦泊统计特性的无参考立体图像质量评价方法
CN109377481B (zh) * 2018-09-27 2022-05-24 上海联影医疗科技股份有限公司 图像质量评价方法、装置、计算机设备和存储介质
US11024062B2 (en) 2018-06-11 2021-06-01 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for evaluating image quality
CN110378893B (zh) * 2019-07-24 2021-11-16 北京市博汇科技股份有限公司 图像质量评价方法、装置和电子设备
CN110443800B (zh) * 2019-08-22 2022-02-22 深圳大学 视频图像质量的评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8666180B2 (en) * 2009-12-04 2014-03-04 Stc.Unm System and methods of compressed sensing as applied to computer graphics and computer imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872479A (zh) * 2010-06-09 2010-10-27 宁波大学 一种立体图像客观质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Stereoscopic image quality assessment model with three-component weighted structure similarity;Xiangying Mao等;《Audio Language and Image Processing (ICALIP), 2010 International Conference on》;20101125;1175-1179 *
Xiangying Mao等.Stereoscopic image quality assessment model with three-component weighted structure similarity.《Audio Language and Image Processing (ICALIP), 2010 International Conference on》.2010,1175-1179.
一种基于人眼视觉特性的立体图像质量客观评价方法;王阿红等;《光电工程》;20110131;第38卷(第1期);134-141 *
利用奇异值分解法的立体图像客观质量评价模型;周俊明等;《计算机辅助设计与图形学学报》;20110531;第23卷(第5期);870-877 *
周俊明等.利用奇异值分解法的立体图像客观质量评价模型.《计算机辅助设计与图形学学报》.2011,第23卷(第5期),870-877.
王阿红等.一种基于人眼视觉特性的立体图像质量客观评价方法.《光电工程》.2011,第38卷(第1期),134-141.

Also Published As

Publication number Publication date
CN102663747A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN102663747B (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN101872479B (zh) 一种立体图像客观质量评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN103517065B (zh) 一种质降参考立体图像质量客观评价方法
CN102547368B (zh) 一种立体图像质量客观评价方法
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN102521825B (zh) 一种基于零水印的立体图像质量客观评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN103281554B (zh) 一种基于人眼视觉特性的视频客观质量评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN105049838A (zh) 一种用于压缩立体视频质量的客观评价方法
CN104851098A (zh) 基于改进结构相似度的立体图像质量客观评价方法
CN102708568B (zh) 一种基于结构失真的立体图像客观质量评价方法
CN103413298A (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN105282543A (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN106791822A (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法
CN105654465A (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
CN102567990B (zh) 一种立体图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140827