CN109525838A - 基于双目竞争的立体图像质量评价方法 - Google Patents
基于双目竞争的立体图像质量评价方法 Download PDFInfo
- Publication number
- CN109525838A CN109525838A CN201811469588.XA CN201811469588A CN109525838A CN 109525838 A CN109525838 A CN 109525838A CN 201811469588 A CN201811469588 A CN 201811469588A CN 109525838 A CN109525838 A CN 109525838A
- Authority
- CN
- China
- Prior art keywords
- monocular
- stereo
- image
- picture
- reference picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供了一种基于双目竞争的立体图像质量评价方法,涉及图像质量评价技术领域。本发明针对基于平面图像质量评价策略的立体图像质量评价方法的不足,利用高斯混合模型刻画立体图像的统计分布特性,设计基于互信息的视觉内容权重,以提高立体图像质量评价方法的鲁棒性和稳定性。同时,本发明基于人类视觉***的双目竞争特性,应用立体图像左右视图的视差信息,并且综合立体图像左右单目视图的结构信息、梯度特征以及相位一致性特征,设计了一种基于双目竞争指导下的立体图像质量评价方法。本发明基于多个特征信息的融合以及对于人类视觉***的内在感知特性的考量,可有效提升立体图像质量评价方法的主客观一致性。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种基于双目竞争的立体图像质量评价方法。
背景技术
立体图像处理在3D影像、图像压缩、增强现实、立体图像通信等领域有着越来越广泛的应用。然而由于图像在传输、存储或发布过程中难免经受一定程度的失真,图像就会出现如加性噪声、数据压缩、几何变形、运动模糊等引起的质量问题。因此,对立体图像质量进行客观有效地评价,并且对立体图像处理***中的算法参数进行优化,进而获取高质量的立体图像,这将为后续的立体图像分析与处理奠定重要的基础。
立体图像质量的客观评价与平面图像质量的客观评价思想类似,都是以建立能感知图像质量的数学评价模型为核心,以对立体图像质量进行准确的预测和评估。常见的立体图像质量评价方法包括全参考立体图像质量评价、部分参考立体图像质量评价以及无参考立体图像质量评价方法三类。
全参考立体图像质量评价方法可以利用原始的完美图像作为基准,计算失真图像与原始图像之间的差异或相似度,作为其感知立体图像质量的预测值。早期的均方误差(Mean Squared Error,MSE)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)是最为经典的全参考图像质量评价方法。这两种方法由于计算的简单和数学意义的简明,在图像处理领域得到了广泛的应用。但是,均方误差和峰值信噪比的评价结果不能很好地体现人眼视觉***对图像质量的感知。同样,MSE和PSNR在立体图像质量评价方面的应用也较难与人眼的主观视觉感知特性保持一致。
现有的全参考立体图像质量评价方法常常借鉴现有的平面图像质量评价方法。如利用经典的结构相似度评价方法(Structural Similarity Index,SSIM)加上三维特征信息用于评估立体图像质量,该方法虽然利用了立体图像的对比度、亮度、结构以及三维特征等信息,但忽略了立体图像左右视点在非对真失真时对图像质量的影响。Yasakethu等人提出了一种立体图像质量评价方法,他们直接基于平面图像质量的评价方法对左右视点图像分别评估,以左右视点图像两个质量评价结果的均值作为整个立体图像的质量评价值。虽然该方法能够有效的评估部分立体图像的质量,但是该方法忽略了立体图像左右视图之间的视差信息,导致该方法的泛化性能较差。
总结来说,此类基于平面图像质量评价策略的立体图像质量评价方法的基本过程是先获取左视图和右视图图像的统计特征或结构特征,然后根据获得的特征信息,采用现有的平面图像质量评价方法分别对左视图和右视图图像进行质量评价,最后将参考立体图像和失真立体图像对应的左视图图像质量预测值和参考立体图像和失真立体图像对应的右视图图像质量预测值进行加权融合,得到整个立体图像的评价质量。此类方法没有考虑到复杂的人类视觉感知过程和特性,也没有考究立体图像左右视图之间的内在交互和相互影响。因此,此类方法的评价性能较低。
发明内容
有鉴于此,本发明提供了一种基于双目竞争的立体图像质量评价方法。
本发明提供的技术方案如下:
一种基于双目竞争的立体图像质量评价方法,包括:
获得参考立体图像和失真立体图像对,其中所述参考立体图像包括参考左视图和参考右视图,所述失真立体图像包括失真左视图和失真右视图;
将所述参考左视图和参考左视图合成为单目参考图像;
将所述失真左视图和失真右视图合成为单目失真图像;
采用高斯尺度混合模型对所述单目参考图像和单目失真图像的小波系数进行建模;
提取所述单目参考图像和单目失真图像的特征信息,所述特征信息包括单目参考图像和所述单目失真图像的结构信息、梯度幅度信息以及相位一致性信息;
根据所述单目参考图像和单目失真图像的特征信息,计算所述单目参考图像和单目失真图像的特征相似度;
根据所述单目参考图像和单目失真图像的特征相似度,结合视觉内容权重,构建立体图像评价方法,建立图像质量评价的主客观一致性非线性函数;
根据预设立体图像数据库数据,对立体图像质量进行客观评价。
进一步地,将所述参考左视图和参考左视图合成为单目参考图像,及将所述失真左视图和失真右视图合成为单目失真图像的步骤包括:
采用二维复Gabor滤波器函数对所述参考左视图、参考右视图、失真左视图和失真右视图分别进行滤波处理,其中,所述二维复Gabor滤波器函数为:
其中,R1=xcosθ+ysinθ,R2=-sinθ+ycosθ,σx,σy分别表示标准差,ζx,ζy分别表示空间频率,θ表示滤波方向;
采用以下公式计算所述参考左视图、参考右视图、失真左视图和失真右视图的权重;
其中,所述参考左视图、失真左视图在所有尺度和方向上的能量响应值为GEL,所述参考右视图、失真右视图在所有尺度和方向上的能量响应值为GER,d为视差;
根据所述参考左视图、参考右视图、失真左视图和失真右视图的权重,采用以下公式合成单目参考图像和单目失真图像:
C(x,y)=WL(x,y)IL(x,y)+WR((x+d),y)IR((x+d),y)。
进一步地,采用高斯尺度混合模型对所述单目参考图像和单目失真图像的小波系数进行建模的步骤包括:
计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E),其中,经感知后的单目参考图像和经感知后的单目失真图像分别为E和F;
计算所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F);
计算经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F);
根据I(R;E)、I(D;F)和I(E;F),计算基于互信息的视觉内容权重。
进一步地,根据I(R;E)、I(D;F)和I(E;F),计算基于互信息的视觉内容权重的步骤包括:
计算所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差
计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F);
根据所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差,以及所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F),计算所述视觉内容权重。
进一步地,采用以下公式计算所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差:
其中,s表示乘法因子,g表示增益因子,表示感知视觉噪声方差,表示高斯噪声方差,I表示恒等矩阵,CU为零均值高斯向量U的协方差矩阵,
进一步地,根据所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差,采用以下公式计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F):
其中,采用以下公式计算所述参考图像R,E;D,F;E,F之间的协方差:
进一步地,根据所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差,以及所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F),采用以下公式计算所述视觉内容权重:
其中,表示失真噪声方差,表示随机失真方差,g表示增益因子,s表示乘法因子,λk表示第k个特征值,其中k=1,2,...,K。
进一步地,根据所述单目参考图像和单目失真图像的特征信息,计算所述单目参考图像和单目失真图像的特征相似度的步骤包括:
计算所述单目参考图像和单目失真图像中相同位置的图像块的亮度、对比度和结构信息;
计算所述单目参考图像和单目失真图像的结构相似度;
计算所述单目参考图像和单目失真图像的梯度相似度;
计算所述单目参考图像和单目失真图像的相位一致性相似度。
进一步地,采用以下公式计算所述单目参考图像和单目失真图像中相同位置的图像块的亮度、对比度和结构信息:
其中,C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1<<1,K2<<1,L∈(0,255],μx,μy分别表示图像块x,y的均值;σx,σy分别表示图像块x,y的方差;σxy为x,y的相似系数,
采用以下公式计算所述单目参考图像和单目失真图像的结构相似度:
SSIM=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中α>0,β>0,γ>0,C1,C2为预设常数;
采用以下公式计算所述单目参考图像和单目失真图像的梯度相似度:
gx,gy分别表示图像块x,y的梯度,表示梯度的变化,max(gx,gy)表示掩码梯度;
采用以下公式计算所述单目参考图像和单目失真图像的相位一致性相似度:
其中,SPC表示相位一致性相似度,C4大于0的预设常数,PC(x)表示所述单目参考图像中图像块x的相位一致性值,PC(y)表示所述单目参考图像中图像块y的相位一致性值。
进一步地,根据所述单目参考图像和单目失真图像的特征相似度和视觉内容权重,构建立体图像评价方法,建立图像质量评价的主客观一致性非线性函数的步骤包括:
采用以下公式计算所述参考立体图像和失真立体图像之间的图像质量评测值SQA:
其中,M表示图像经小波分解的尺度数,wi表示第i个分解尺度上所述单目参考图像和单目失真图像之间的视觉内容权重,S(R,D)j表示所述单目参考图像和单目失真图像第j个图像子带之间的局部相似度;
对图像质量评价方法进行曲线拟合,建立主观评价的非线性函数:
其中μ1,μ2,μ3,μ4,μ5表示非线性拟合参数。
本发明针对基于平面图像质量评价策略的立体图像质量评价方法的不足,利用高斯混合模型刻画立体图像的统计分布特性,设计基于互信息的视觉内容权重,以提高立体图像质量评价方法的鲁棒性和稳定性。同时,本发明基于人类视觉***的双目竞争特性,应用立体图像左右视图的视差信息,并且综合立体图像左右单目视图的结构信息、梯度特征以及相位一致性特征,设计了一种基于双目竞争指导下的立体图像质量评价方法。本发明基于多个特征信息的融合以及对于人类视觉***的内在感知特性的考量,可有效提升立体图像质量评价方法的主客观一致性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于双目竞争的立体图像质量评价方法的流程示意图。
图2为本发明实施例提供的一种基于双目竞争的立体图像质量评价方法中步骤S102的子步骤的流程示意图。
图3为本发明实施例提供的一种基于双目竞争的立体图像质量评价方法中步骤S104的子步骤的流程示意图。
图4为本发明实施例提供的一种基于双目竞争的立体图像质量评价方法中步骤S106的子步骤另一的流程示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有技术中基于平面图像质量评价策略的立体图像质量评价方法,可总结为以下几个主要步骤。
1)输入参考立体图像和失真立体图像对,分别包括左视图和右视图图像。
2)采用人工特征或机器学习的方法提取立体图像左视图和右视图图像的特征信息,如对比度、亮度、纹理复杂度、梯度等特征信息。
3)基于获取的特征信息,利用平面图像质量评价策略,如常用的结构相似度方法、特征相似度方法以及基于自然场景统计特性(Natural Scene Statistics,NSS)的图像质量方法等,计算参考左视图和失真左视图两幅图像之间的特征相似度。同时,计算参考右视图和失真右视图两幅图像之间的特征相似度。
4)根据参考立体图像和失真立体图像对应的左视图图像和右视图图像的特征相似度信息,分别计算参考立体图像和失真立体图像对应的左视图图像质量预测值和右视图图像质量预测值,然后对左视图和右视图图像的质量预测值进行加权融合,获得整个立体图像的质量评价值。
5)设计立体图像质量的评价函数,根据公开的立体图像数据库数据,对立体图像质量进行客观评价。
借鉴已有的平面图像质量评价方法直接对立体图像的左右视图图像分别进行评价,然后再综合左右视图的质量评价获取整个立体图像的质量,这种技术的主要优势是利用现有的成熟平面图像质量评价方法,但是该技术忽略了左右视图的视差信息,以及立体图像左右视图之间的内在交互和相互影响。
为了解决上述问题,本申请实施例提供了一种基于双目竞争的立体图像质量评价方法,如图1所示,包括以下步骤。
步骤S101,获得参考立体图像和失真立体图像,其中所述参考立体图像包括参考左视图和参考右视图,所述失真立体图像包括失真左视图和失真右视图。
步骤S102,将所述参考左视图和参考左视图合成为单目参考图像。
步骤S103,将所述失真左视图和失真右视图合成为单目失真图像。
详细的,在获得了参考立体图像和失真立体图像后,在人类视觉***双目竞争特性的指导下,就可以将原始和失真立体图像的左右视图分别合成为一幅单目图像,并应用立体图像左右视图的视觉能量来模拟视觉***的响应,用左右视图的能量比来模拟视觉***的双目竞争特性。
单目参考图像和单目失真图像的合成都可以采用二维复Gabor滤波器函数对所述参考左视图、参考右视图、失真左视图和失真右视图分别进行滤波处理。如图2所示,在合成过程中,可以设左视图、右视图分别为IL和IR,所述二维复Gabor滤波器函数为:
其中,R1=xcosθ+ysinθ,R2=-sinθ+ycosθ,σx,σy分别表示标准差,ζx,ζy分别表示空间频率,θ表示滤波方向;
采用以下公式计算所述参考左视图、参考右视图、失真左视图和失真右视图的权重;
其中,所述参考左视图、失真左视图在所有尺度和方向上的能量响应值为GEL,所述参考右视图、失真右视图在所有尺度和方向上的能量响应值为GER,d为视差。
根据所述参考左视图、参考右视图、失真左视图和失真右视图的权重,采用以下公式合成单目参考图像和单目失真图像:
C(x,y)=WL(x,y)IL(x,y)+WR((x+d),y)IR((x+d),y)。
合成后的单目参考图像和单目失真图像分别记为R和D。
步骤S104,采用高斯尺度混合模型对所述单目参考图像和单目失真图像的小波系数进行建模。
详细的,视觉内容权重计算可统一表示为:
w=I(R;E)+I(D;F)-I(E;F)
其中,w表示视觉权重,I(·;·)表示两个变量的互信息。
基于上述视觉内容权重的统一表示公式,如图3所示,可以先计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E),其中,经感知后的单目参考图像和经感知后的单目失真图像分别为E和F。同时,计算所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及计算经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F)。
在计算各个互信息时,可以先计算所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差。
其中,s表示乘法因子,g表示增益因子,表示感知视觉噪声方差,表示高斯噪声方差,I表示恒等矩阵。CU为零均值高斯向量U的协方差矩阵,应用高斯混合模型对参考图像R的小波系数统一进行建模,R进一步可表示为R=sU。协方差矩阵CU表示为
采用以下公式计算上述各个互信息。
上式中,R,E;D,F;E,F之间的协方差计算如下:
综合上述协方差和互信息的计算,可以进一步的根据I(R;E)、I(D;F)和I(E;F),计算基于互信息的视觉内容权重。
视觉内容权重可以进一步表示为:
其中表示失真噪声方差,表示随机失真方差,g表示增益因子,s表示乘法因子,λk表示第k个特征值,其中,k=1,2,...,K,这K个特征值由协方差矩阵CU经特征值分解所得。协方差矩阵的计算是对图像采用高斯混合模型建模的结果。
步骤S105,提取所述单目参考图像和单目失真图像的特征信息,所述特征信息包括单目参考图像和所述单目失真图像的结构信息、梯度幅度信息以及相位一致性信息。
步骤S106,如图4所示,根据所述单目参考图像和单目失真图像的特征信息,计算所述单目参考图像和单目失真图像的特征相似度。
图像的像素之间存在较强的相关性,这种相关性反映了图像高度的结构特征,人在观察一幅图像的过程中,对图像的亮度、对比度、结构信息等特征较为敏感,因此,本发明将亮度、对比度以及结构信息作为立体图像结构相似度的特征信息,下面分别提取图像的亮度、对比度以及结构信息。
将单目参考图像和单目失真图像中相同位置的图像块x,y作为两个输入信号,亮度l(x,y)、对比度c(x,y)和结构信息s(x,y)的计算过程为:
其中,C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1<<1,K2<<1,L∈(0,255],μx,μy分别表示图像块x,y的均值,反映了图像的亮度情况。σx,σy分别表示图像块x,y的方差,反映了图像的对比度。σxy为x,y的相似系数,其可表示为反映了图像在结构上的相关性。
根据图像的亮度、对比度及结构信息,结构相似度可定义为:
SSIM=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中,α>0,β>0,γ>0。本发明中可以设置α=1,β=1,γ=1,结构相似度可进一步表示为:
其中,C1,C2均表示一个很小的常数,为了控制分母不为0。
在计算梯度相似度时,将单目参考图像和单目失真图像中相同位置的图像块x,y作为两个输入信号,分别计算两个图像块的梯度值,其值为图像块的最大加权平均值。图像块x的梯度值为:图像块y的梯度计算为*表示卷积操作。其中Mk,k=1,2,3,4表示第k个滤波器,本发明中滤波器个数可以设置为4。mean2(·)表示矩阵的平均值函数。考虑到可见性阈值(Visibility threshold)和图像对比度的变化,图像块x与图像块y之间的梯度结构相似度可表示为:
其中,C1为一个很小的常量,为了控制分母的值不为0而设置。gx,gy分别表示图像块x,y的梯度。表示梯度的变化(masked gradient change),其值范围为[0,1]。max(gx,gy)表示掩码梯度(masking gradient)。
相位一致性对于图像亮度或对比度的变化能够保持较好的一致性,不会随着图像的亮度和对比度的变化而变化。图像的相位一致性特征能够很好地衡量图像一致性的程度。本发明将这一特性作为立体图像质量评价的一个重要特征。可以应用一个二维对数Gabor滤波器分别与单目参考图像和单目失真图像进行卷积运算,得到单目参考图像的相位一致性值为
PC(x)表示单目参考图像中图像块x的相位一致性值,表示在方向θj上的局部能量,θj表示二维对数Gabor滤波器的方向角,θj=jπ/J,j={0,1,2,…,J-1},J表示方向数。表示图像块x在尺度为n,方向为θj上的幅度值。ε可以是一个大于0的较小的常量。
同理,单目失真图像的相位一致性值为
PC(y)表示单目参考图像中图像块y的相位一致性值,表示在方向θj上的局部能量,θj表示二维对数Gabor滤波器的方向角,θj=jπ/J,j={0,1,2,…,J-1},J表示方向数。表示图像块y在尺度为n,方向为θj上的幅度值。ε是一个小的常量,并大于0。基于以上过程,相位一致性相似度定义为:
其中SPC表示相位一致性相似度,C4表示一个很小的大于0的常量。
步骤S107,根据所述单目参考图像和单目失真图像的特征相似度,结合视觉内容权重,构建立体图像评价方法,建立图像质量评价的主客观一致性非线性函数。
步骤S108,根据预设立体图像数据库数据,对立体图像质量进行客观评价。
单目参考图像和单目失真图像之间的局部相似度可表示为:S(R,D)=[Sssim]a·[SG]b·[SPC]c,a,b,c为局部结构相似度、梯度相似度以及相位一致性的常量因子,本发明中设置a,b,c的值均为1。接下来,结合视觉内容权重和局部相似度,参考立体图像和失真立体图像之间的图像质量评测值可表示为:
其中,M表示图像经小波分解的尺度数,wi表示第i个分解尺度上单目参考图像和单目失真图像之间的视觉内容权重。S(R,D)j表示单目参考图像和单目失真图像第j个图像子带之间的局部相似度。
最后对图像质量评价方法进行曲线拟合,以衡量质量评价的主客观一致性,将图像客观评价的质量评测过程看成是主观评价的非线性函数,该函数定义为:
其中,μ1,μ2,μ3,μ4,μ5表示非线性拟合参数。
本发明针对基于平面图像质量评价策略的立体图像质量评价方法的不足,利用高斯混合模型刻画立体图像的统计分布特性,设计基于互信息的视觉内容权重,以提高立体图像质量评价方法的鲁棒性和稳定性。同时,本发明基于人类视觉***的双目竞争特性,应用立体图像左右视图的视差信息,并且综合立体图像左右单目视图的结构信息、梯度特征以及相位一致性特征,设计了一种基于双目竞争指导下的立体图像质量评价方法。本发明基于多个特征信息的融合以及对于人类视觉***的内在感知特性的考量,可有效提升立体图像质量评价方法的主客观一致性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于双目竞争的立体图像质量评价方法,其特征在于,包括:
获得参考立体图像和失真立体图像对,其中所述参考立体图像包括参考左视图和参考右视图,所述失真立体图像包括失真左视图和失真右视图;
将所述参考左视图和参考左视图合成为单目参考图像;
将所述失真左视图和失真右视图合成为单目失真图像;
采用高斯尺度混合模型对所述单目参考图像和单目失真图像的小波系数进行建模;
提取所述单目参考图像和单目失真图像的特征信息,所述特征信息包括单目参考图像和所述单目失真图像的结构信息、梯度幅度信息以及相位一致性信息;
根据所述单目参考图像和单目失真图像的特征信息,计算所述单目参考图像和单目失真图像的特征相似度;
根据所述单目参考图像和单目失真图像的特征相似度,结合视觉内容权重,构建立体图像评价方法,建立图像质量评价的主客观一致性非线性函数,并根据预设立体图像数据库数据,对立体图像质量进行客观评价。
2.根据权利要求1所述的基于双目竞争的立体图像质量评价方法,其特征在于,将所述参考左视图和参考左视图合成为单目参考图像,及将所述失真左视图和失真右视图合成为单目失真图像的步骤包括:
采用二维复Gabor滤波器函数对所述参考左视图、参考右视图、失真左视图和失真右视图分别进行滤波处理,其中,所述二维复Gabor滤波器函数为:
其中,R1=xcosθ+ysinθ,R2=-sinθ+ycosθ,σx,σy分别表示标准差,ζx,ζy分别表示空间频率,θ表示滤波方向;
采用以下公式计算所述参考左视图、参考右视图、失真左视图和失真右视图的权重;
其中,所述参考左视图、失真左视图在所有尺度和方向上的能量响应值为GEL,所述参考右视图、失真右视图在所有尺度和方向上的能量响应值为GER,d为视差;
根据所述参考左视图、参考右视图、失真左视图和失真右视图的权重,采用以下公式合成单目参考图像和单目失真图像:
C(x,y)=WL(x,y)IL(x,y)+WR((x+d),y)IR((x+d),y)。
3.根据权利要求1所述的基于双目竞争的立体图像质量评价方法,其特征在于,采用高斯尺度混合模型对所述单目参考图像和单目失真图像的小波系数进行建模的步骤包括:
计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E),其中,经感知后的单目参考图像和经感知后的单目失真图像分别为E和F;
计算所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F);
计算经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F);
根据I(R;E)、I(D;F)和I(E;F),计算基于互信息的视觉内容权重。
4.根据权利要求3所述的基于双目竞争的立体图像质量评价方法,其特征在于,根据I(R;E)、I(D;F)和I(E;F),计算基于互信息的视觉内容权重的步骤还包括:
计算所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差。
5.根据权利要求4所述的基于双目竞争的立体图像质量评价方法,其特征在于,采用以下公式计算所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差:
其中,s表示乘法因子,g表示增益因子,表示感知视觉噪声方差,表示高斯噪声方差,I表示恒等矩阵,CU为零均值高斯向量U的协方差矩阵,
6.根据权利要求4所述的基于双目竞争的立体图像质量评价方法,其特征在于,根据所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差,采用以下公式计算所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F):
其中,采用以下公式计算所述单目参考图像R,E;D,F;E,F之间的协方差:
7.根据权利要求4所述的基于双目竞争的立体图像质量评价方法,其特征在于,根据所述参考立体图像、失真立体图、经感知后的参考立体图像、经感知后的失真立体图像的协方差,以及所述单目参考图像与经感知后的单目参考图像之间的互信息I(R;E)、所述单目失真图像与经感知后的单目失真图像之间的互信息I(D;F)以及经感知后的单目参考图像与经感知后的单目失真图像之间的互信息I(E;F),采用以下公式计算所述视觉内容权重:
其中,表示失真噪声方差,表示随机失真方差,g表示增益因子,s表示乘法因子,λk表示第k个特征值,其中k=1,2,...,K。
8.根据权利要求1所述的基于双目竞争的立体图像质量评价方法,其特征在于,根据所述单目参考图像和单目失真图像的特征信息,计算所述单目参考图像和单目失真图像的特征相似度的步骤包括:
计算所述单目参考图像和单目失真图像中相同位置的图像块的亮度、对比度和结构信息;
计算所述单目参考图像和单目失真图像的结构相似度;
计算所述单目参考图像和单目失真图像的梯度相似度;
计算所述单目参考图像和单目失真图像的相位一致性相似度。
9.根据权利要求8所述的基于双目竞争的立体图像质量评价方法,其特征在于,采用以下公式计算所述单目参考图像和单目失真图像中相同位置的图像块的亮度、对比度和结构信息:
其中,C1=(K1L)2,C2=(K2L)2,C3=C2/2,K1<<1,K2<<1,L∈(0,255],μx,μy分别表示图像块x,y的均值;σx,σy分别表示图像块x,y的方差;σxy为x,y的相似系数,
采用以下公式计算所述单目参考图像和单目失真图像的结构相似度:
SSIM=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中α>0,β>0,γ>0,C1,C2为预设常数;
采用以下公式计算所述单目参考图像和单目失真图像的梯度相似度:
gx,gy分别表示图像块x,y的梯度,表示梯度的变化,max(gx,gy)表示掩码梯度;
采用以下公式计算所述单目参考图像和单目失真图像的相位一致性相似度:
其中,SPC表示相位一致性相似度,C4大于0的预设常数,PC(x)表示所述单目参考图像中图像块x的相位一致性值,PC(y)表示所述单目参考图像中图像块y的相位一致性值。
10.根据权利要求1所述的基于双目竞争的立体图像质量评价方法,其特征在于,根据所述单目参考图像和单目失真图像的特征相似度和视觉内容权重,构建立体图像评价方法,建立图像质量评价的主客观一致性非线性函数的步骤包括:
采用以下公式计算所述参考立体图像和失真立体图像之间的图像质量评测值SQA:
其中,M表示图像经小波分解的尺度数,wi表示第i个分解尺度上所述单目参考图像和单目失真图像之间的视觉内容权重,S(R,D)j表示所述单目参考图像和单目失真图像第j个图像子带之间的局部相似度;
对图像质量评价方法进行曲线拟合,建立主观评价的非线性函数:
其中μ1,μ2,μ3,μ4,μ5表示非线性拟合参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811469588.XA CN109525838A (zh) | 2018-11-28 | 2018-11-28 | 基于双目竞争的立体图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811469588.XA CN109525838A (zh) | 2018-11-28 | 2018-11-28 | 基于双目竞争的立体图像质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109525838A true CN109525838A (zh) | 2019-03-26 |
Family
ID=65794162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811469588.XA Pending CN109525838A (zh) | 2018-11-28 | 2018-11-28 | 基于双目竞争的立体图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109525838A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168388A1 (en) * | 2012-12-19 | 2014-06-19 | Nvidia Corporation | System and method for displaying a three-dimensional image on a video monitor |
CN104853182A (zh) * | 2015-05-21 | 2015-08-19 | 天津大学 | 基于幅度和相位的立体图像质量客观评价方法 |
CN107578404A (zh) * | 2017-08-22 | 2018-01-12 | 浙江大学 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
CN108898600A (zh) * | 2018-07-11 | 2018-11-27 | 上饶师范学院 | 图像质量评价方法及装置 |
-
2018
- 2018-11-28 CN CN201811469588.XA patent/CN109525838A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140168388A1 (en) * | 2012-12-19 | 2014-06-19 | Nvidia Corporation | System and method for displaying a three-dimensional image on a video monitor |
CN104853182A (zh) * | 2015-05-21 | 2015-08-19 | 天津大学 | 基于幅度和相位的立体图像质量客观评价方法 |
CN107578404A (zh) * | 2017-08-22 | 2018-01-12 | 浙江大学 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
CN108898600A (zh) * | 2018-07-11 | 2018-11-27 | 上饶师范学院 | 图像质量评价方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105959684B (zh) | 基于双目融合的立体图像质量评价方法 | |
Su et al. | Oriented correlation models of distorted natural images with application to natural stereopair quality evaluation | |
CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
CN105338343B (zh) | 一种基于双目感知的无参考立体图像质量评价方法 | |
CN106504222A (zh) | 一种基于仿生视觉机理的水下偏振图像融合*** | |
CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
Su et al. | Color and depth priors in natural images | |
Liu et al. | Statistical modeling of 3-D natural scenes with application to Bayesian stereopsis | |
CN107635136B (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
CN108389192A (zh) | 基于卷积神经网络的立体图像舒适度评价方法 | |
CN102740114B (zh) | 一种视频主观质量的无参评估方法 | |
CN104318545B (zh) | 一种用于雾天偏振图像的质量评价方法 | |
CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
CN108765414A (zh) | 基于小波分解和自然场景统计的无参考立体图像质量评价方法 | |
CN109242812A (zh) | 基于显著性检测与奇异值分解的图像融合方法及装置 | |
CN109523513A (zh) | 基于稀疏重建彩色融合图像的立体图像质量评价方法 | |
CN108520510B (zh) | 一种基于整体和局部分析的无参考立体图像质量评价方法 | |
CN104954778A (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
CN102821301B (zh) | 基于hvs的立体信息客观质量评价方法 | |
CN113592018A (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
Yang et al. | No-reference stereoimage quality assessment for multimedia analysis towards Internet-of-Things | |
CN104918039B (zh) | 图像质量评测方法及*** | |
Kim et al. | Quality assessment of perceptual crosstalk on two-view auto-stereoscopic displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
RJ01 | Rejection of invention patent application after publication |