CN107578404A - 基于视觉显著特征提取的全参考立体图像质量客观评价方法 - Google Patents
基于视觉显著特征提取的全参考立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN107578404A CN107578404A CN201710721546.XA CN201710721546A CN107578404A CN 107578404 A CN107578404 A CN 107578404A CN 201710721546 A CN201710721546 A CN 201710721546A CN 107578404 A CN107578404 A CN 107578404A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- image
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉显著特征提取的全参考立体图像质量客观评价方法。对立体图像对的左右视图进行处理得到对应的视差图;分别对立体图像对的左右视图进行图像融合得到中间参考和失真图像,利用谱残差视觉显著性模型获得参考和失真显著性图,并通整合得到视觉显著性图,从中间参考和失真图像提取视觉信息特征以及从立体图像对的视差图中提取深度信息特征,进行相似性度量,得到视觉显著增强的各视觉信息特征的度量指标,进行支持向量机训练预测,得到客观质量分数,实现对立体图像质量的映射,完成立体图像质量的测定与评价。本发明所提出的图像质量客观评价与主观评价具有很好的一致性,且性能优于已有的立体图像质量评价方法。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于视觉显著特征提取的全参考立体图像质量客观评价方法。
背景技术
图像在图像采样、传输、压缩和重现过程中总会发生各种各样的失真,而人类对图像信息的质量也要求越来越高,所以随着3D视频和技术的发展,立体图像质量评价技术在人类社会生活中变得越来越重要。由于主观的立体图像质量评价方法要求人类观察者为每个图像都要提供主观的质量分数。这些方法耗时性和弱实时性等缺陷,十分有必要发展客观的立体图像质量评价方法,以实现自动、高效、客观地评价立体图像质量。理想的客观IQA指标应该具有良好的预测图像质量的能力,并且与主观测量完全一致。
立体图像质量客观评价可以分为三个类别:全参考方法、半参考方法和无参考方法。这三类方法的主要区别在于对原始参考图像的依赖程度不同。而由于现在国内外的研究热点主要集中在全参考和无参考立体图像质量评价度量方法,其中关于全参考图像质量评价的研究更多,技术相对来说较为成熟,在此基础上建立的模型与主观测量一致性较高。但由于立体图像视觉模型***还不完善,因此立体图像客观质量评价依然是当今研究的热点和难点。
发明内容
本发明公开了一种视觉显著特征提取的全参考立体图像质量客观评价方法。其目的是利用视觉显著性模型,协助提取立体图像视觉特征,并综合视觉特征信息以实现对立体图像质量的映射,完成立体图像质量的测定与评价。
本发明采取的技术方案是:
首先,利用结构相似度算法分别对参考和失真立体图像对的左右视图进行处理,得到对应的视差图;利用双目视图融合算法分别对参考和失真立体图像对的左右视图进行图像融合,得到中间参考和失真图像。其次,对中间参考和失真图像利用谱残差视觉显著性模型获得参考和失真显著性图,并通过最大化公式整合视觉显著性图。然后,从中间参考和失真图像提取视觉信息特征以及从视差图中提取深度信息特征,并在视觉显著性图的指导协助下进行相似性度量,得到各视觉信息特征的度量指标。最后,对各视觉信息特征度量指标进行支持向量机训练预测,实现对立体图像质量的映射,完成立体图像质量的测定与评价。
本发明解决其技术问题所采用的技术方案如下:
步骤(1).输入参考立体图像对和失真立体图像对,其中每个立体图像对分别包括左视图和右视图图像;
步骤(2).构建Log Gabor滤波器模型,对步骤(1)中的立体图像对进行卷积运算处理,分别得到参考和失真立体图像对中左右视图的能量响应图;
Log Gabor滤波器的表达式如下:
其中,f0和θ0是Log Gabor滤波器的中心频率和方位角,σθ和σf分别代表滤波器的方位角带宽和径向带宽,f和θ分别代表滤波器的径向坐标和方位角。
将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后,得到相应的能量响应图,表达式如下:
其中,I(x,y)为参考和失真立体图像对的左视图或右视图,为卷积运算;
步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图;
步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移,构造和左视图像素坐标对应的校准右视图IR((x+d),y),然后基于步骤(2)得到左视图和校准右视图的能量响应图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
其中,FL(x,y)和FR((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图,d为步骤(3)计算得到的视差图D中对应坐标的视差值;
步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图,利用双目视图融合模型实现对立体图像的图像融合,分别得到参考的和失真的中间图像;双目视图融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (5-1)
其中,CI(x,y)即是双目视图融合后的中间图像,IL(x,y)和IR((x+d),y)分别为立体图像对的左视图和校准右视图;
步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图,并对其进行整合,建立整合后的视觉显著性图Sf。
步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,并对失真立体图像对的视差图的失真程度做出度量;采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性,作为反应失真立体图像对在视差图上质量失真程度的指标,表达式如下:
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,E()是均值函数,ε为大于零的常数,防止分母为零,Index1和Index2是深度特征信息的两个相似性度量指标;
步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征;
将Prewitt算子与被测图像进行卷积处理,得到包含边缘轮廓信息的梯度图,利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下:
其中,f(x,y)为立体图像对的左/右视图,为卷积运算,hx和hy是3×3的Prewitt垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘。模板表达式如下:
纹理信息特征的提取采用局部二值模式LBP,LBP的表达式如下:
其中,gc是图像的中心像素点的灰度值,gp是图像的相邻像素点的灰度值,x和y代表中心像素点的坐标值。sgn(x)是阶跃函数。
步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘,得到视觉显著性增强的视觉信息特征,具体表达式如下:
GMSR(x,y)=GMR(x,y)*Sf(x,y) GMSD(x,y)=GMD(x,y)*Sf(x,y) (9-1)
TISR(x,y)=TIR(x,y)*Sf(x,y) TISD(x,y)=TID(x,y)*Sf(x,y) (9-2)
ISR(x,y)=IR(x,y)*Sf(x,y) ISD(x,y)=ID(x,y)*Sf(x,y) (9-3)
其中,GMR、TIR和IR分别是中间参考图像的边缘、纹理和亮度特征信息,GMD、TID和ID分别是中间失真图像的边缘、纹理和亮度特征信息;Sf为步骤(6)得到的整合后的视觉显著性图;
步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量,表达式如下:
其中,GMSR、TISR和ISR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征,GMSD、TISD和ISD表示中间失真图像的显著性增强的边缘、纹理和亮度信息,Index3、Index4和Index5分别代表边缘、纹理和亮度信息特征的相似性度量指标,C4是一个大于零的常数,其目的是防止分母为零;
步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理,得到p个尺度的中间参考和失真图像,对p个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量,总共得到n个相似性度量指标,则n=2p+2;
降采样的方法如下:输入一幅图像,通过低通滤波器得到滤波图像,然后对滤波图像进行采样因子为m的降采样处理,得到降采样后的图像。
步骤(12).整合步骤(8)和(11)中得到的各个度量指标,进行支持向量机SVR训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数。
其中,根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(3)包括如下步骤:
步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移n次,每次移动的步长为s像素点,得到水平右移后的k幅修正右视图IR((x+i*s),y),(i=1,2,…k),则k=n/s,每一幅修正右视图对应的标号为i,(i=1,2,…k);
步骤(3.2).利用结构相似度算法SSIM分别计算立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图。SSIM算法表达式如下:
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。C1和C2为大于零的常数,防止分母为零;
步骤(3.3).对于左视图的每一个像素点(x,y),取其k幅结构相似性图中局部结构相似性值最大的一幅,对应标号为i,(i=1,2,…k),则i为(x,y)像素点对应的视差值,记录为d,从而构建视差图D。
根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(6)具体为:
视觉显著性图提取方法采用谱残差的视觉显著性模型(SR),具体内容如下:
给定一幅图像I(x,y),有:
A(f)=Re{F[I(x,y)]}
P(f)=Angle{F[I(x,y)]}
L(f)=log[A(f)] (6-1)
其中,F()和F-1()为二维傅里叶变换和其反变换,Re()表示取实部运算,Angle()表示取辐角运算,S(x,y)为通过谱残差方法得到的显著性图,g(x,y)是高斯低通滤波器,hn(f)是局部均值滤波器,其表达式如下:
其中,σ是概率分布中的标准偏差;
对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图,按下式所示的方法建立整合后的视觉显著性图;
Sf(x,y)=Max[Sref(x,y),Sdis(x,y)] (6-4)
其中,Sref和Sdis分别为中间参考和失真图像的视觉显著性图,Sf为整合后的视觉显著性图。
根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(12)中进行支持向量机SVR训练预测,获得最佳预测模型具体为:
SVR训练预测方法具体采用5-折交叉验证来训练与测试模型,具体方案如下:
步骤(12.1).将样本随机分为互不相交的五份,选出其中四份进行SVR训练以获得最佳模型,然后将剩余的一份运用到该模型上去,得到相应的客观质量值来对主观质量进行预测;
步骤(12.2).将步骤(12.1)的操作重复进行多次,取所有数据结果平均值来表征所提出模型的性能;
具体表达式如下:
Q=SVR(Index1,Index2,…,Indexn) (12-1)
其中,Q为客观质量评价分数。
本发明的有益效果:
本发明通过视觉显著性图协助提取视觉信息特征,并综合视觉信息特征以实现对立体图像质量的映射,实现对失真立体图像对质量的客观评价。实验结果表明,基于本发明所提出方法对立体图像质量的评价性能与主观评价具有很好的一致性,优于传统立体图像质量评价方法。
附图说明
图1为本发明基于视觉显著特征提取的全参考立体图像质量客观评价方法的原理图。
具体实施方式
下面结合附图对本发明方法作进一步说明。
步骤(1).利用Matlab软件依次读入美国德州大学奥斯汀分校的3D LIVE图像数据库中阶段I和阶段II的参考立体图像对和对应的失真立体图像对,其中每个立体图像对分别包括左右视图图像。
步骤(2).构建Log Gabor滤波器模型,对步骤(1)中的立体图像对进行卷积运算处理,分别得到参考和失真立体图像对中左右视图的能量响应图;
Log Gabor滤波器的表达式如下:
其中,f0和θ0是Log Gabor滤波器的中心频率和方位角,σθ和σf分别代表滤波器的方位角带宽和径向带宽,f和θ分别代表滤波器的径向坐标和方位角。其中,σθ=π/18,σf=0.75,f0=1/6,θ0=0,f=0,π/4,π/3,3π/4,θ=0,π/5,2π/5,3π/5,4π/5。由此得到4×5=20个LoG Gabor滤波器能量响应图,Log Gabor滤波器响应的局部能量定义为在每个尺度间能量的最大值,而每个尺度内的局部能量定义为各方位角对应局部能量之和。
将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后,得到相应的能量响应图,表达式如下:
其中,I(x,y)为参考和失真立体图像对的左视图或右视图,为卷积运算;
步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图;
步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移,构造和左视图像素坐标对应的校准右视图IR((x+d),y),然后基于步骤(2)得到左视图和校准右视图的能量响应图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
其中,FL(x,y)和FR((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图,d为步骤(3)计算得到的视差图D中对应坐标的视差值;
步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图,利用双目视图融合模型实现对立体图像的图像融合,分别得到参考的和失真的中间图像;双目视图融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (5-1)
其中,CI(x,y)即是双目视图融合后的中间图像,IL(x,y)和IR((x+d),y)分别为立体图像对的左视图和校准右视图;
步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图,并对其进行整合,建立整合后的视觉显著性图Sf。
步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,并对失真立体图像对的视差图的失真程度做出度量;采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性,作为反应失真立体图像对在视差图上质量失真程度的指标,表达式如下:
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,E()是均值函数,ε为大于零的常数,防止分母为零,ε=0.001,Index1和Index2是深度特征信息的两个相似性度量指标;
步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征;
将Prewitt算子与被测图像进行卷积处理,得到包含边缘轮廓信息的梯度图,利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下:
其中,f(x,y)为立体图像对的左/右视图,为卷积运算,hx和hy是3×3的Prewitt垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘。模板表达式如下:
纹理信息特征的提取采用局部二值模式LBP,LBP的表达式如下:
其中,gc是图像的中心像素点的灰度值,gp是图像的相邻像素点的灰度值,x和y代表中心像素点的坐标值。sgn(x)是阶跃函数。
步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘,得到视觉显著性增强的视觉信息特征,具体表达式如下:
GMSR(x,y)=GMR(x,y)*Sf(x,y) GMSD(x,y)=GMD(x,y)*Sf(x,y) (9-1)
TISR(x,y)=TIR(x,y)*Sf(x,y) TISD(x,y)=TID(x,y)*Sf(x,y) (9-2)
ISR(x,y)=IR(x,y)*Sf(x,y) ISD(x,y)=ID(x,y)*Sf(x,y) (9-3)
其中,GMR、TIR和IR分别是中间参考图像的边缘、纹理和亮度特征信息,GMD、TID和ID分别是中间失真图像的边缘、纹理和亮度特征信息;Sf为步骤(6)得到的整合后的视觉显著性图;
步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量,表达式如下:
其中,GMSR、TISR和ISR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征,GMSD、TISD和ISD表示中间失真图像的显著性增强的边缘、纹理和亮度信息,Index3、Index4和Index5分别代表边缘、纹理和亮度信息特征的相似性度量指标,C4是一个大于零的常数,其目的是防止分母为零,C4=0.5。
步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理,得到p个尺度的中间参考和失真图像,p=3。对p个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量,总共得到n个相似性度量指标,则n=2p+2,则,n=8。
降采样的方法如下:输入一幅图像,通过低通滤波器得到滤波图像,然后对滤波图像进行采样因子为m的降采样处理,m=2,得到降采样后的图像。
步骤(12).整合步骤(8)和(11)中得到的各个度量指标,进行支持向量机SVR训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数。
其中,根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(3)包括如下步骤:
步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移n次,每次移动的步长为s像素点,得到水平右移后的k幅修正右视图IR((x+i*s),y),(i=1,2,…k),则k=n/s,在此s=1,n=25,则k=25。每一幅修正右视图对应的标号为i,(i=1,2,…k)。
步骤(3.2).利用结构相似度(SSIM)算法分别计算立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图。SSIM算法表达式如下:
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。C1和C2为大于零的常数,防止分母为零,在此C1=6.5025,C2=58.5225。
步骤(3.3).对于左视图的每一个像素点(x,y),取其k幅结构相似性图中局部结构相似性值最大的一幅,对应标号为i,(i=1,2,…k),则i为(x,y)像素点对应的视差值,记录为d,从而构建视差图D。
根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(6)具体为:
视觉显著性图提取方法采用谱残差的视觉显著性模型(SR),具体内容如下:
给定一幅图像I(x,y),有:
A(f)=Re{F[I(x,y)]}
P(f)=Angle{F[I(x,y)]}
L(f)=log[A(f)] (6-1)
其中,F()和F-1()为二维傅里叶变换和其反变换,Re()表示取实部运算,Angle()表示取辐角运算,S(x,y)为通过谱残差方法得到的显著性图,g(x,y)是高斯低通滤波器,hn(f)是局部均值滤波器,其表达式如下:
其中,σ是概率分布中的标准偏差,σ=1.5;
对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图,按下式所示的方法建立整合后的视觉显著性图;
Sf(x,y)=Max[Sref(x,y),Sdis(x,y)] (6-4)
其中,Sref和Sdis分别为中间参考和失真图像的视觉显著性图,Sf为整合后的视觉显著性图。
根据专利所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(12)中进行支持向量机SVR训练预测,获得最佳预测模型具体为:
SVR训练预测方法具体采用5-折交叉验证来训练与测试模型,具体方案如下:
步骤(12.1).将样本随机分为互不相交的五份,选出其中四份进行SVR训练以获得最佳模型,然后将剩余的一份运用到该模型上去,得到相应的客观质量值来对主观质量进行预测;
步骤(12.2).将步骤(12.1)的操作重复进行多次,取所有数据结果平均值来表征所提出模型的性能;
具体表达式如下:
Q=SVR(Index1,Index2,…,Indexn) (12-1)
其中,Q为客观质量评价分数。
Claims (4)
1.一种基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于包括以下步骤:
步骤(1).输入参考立体图像对和失真立体图像对,其中每个立体图像对分别包括左视图和右视图图像;
步骤(2).构建Log Gabor滤波器模型,对步骤(1)中的立体图像对进行卷积运算处理,分别得到参考和失真立体图像对中左右视图的能量响应图;
Log Gabor滤波器的表达式如下:
<mrow>
<msub>
<mi>h</mi>
<mrow>
<mi>L</mi>
<mi>G</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mo>{</mo>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>/</mo>
<msub>
<mi>f</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&sigma;</mi>
<mi>f</mi>
</msub>
<mo>/</mo>
<msub>
<mi>f</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<msup>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>-</mo>
<msub>
<mi>&theta;</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>&theta;</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,f0和θ0是Log Gabor滤波器的中心频率和方位角,σθ和σf分别代表滤波器的方位角带宽和径向带宽,f和θ分别代表滤波器的径向坐标和方位角;
将Log Gabor滤波器与参考和失真立体图像对中左右视图进行卷积后,得到相应的能量响应图,表达式如下:
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mrow>
<mi>L</mi>
<mi>G</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,I(x,y)为参考和失真立体图像对的左视图或右视图,为卷积运算;
步骤(3).对步骤(1)输入的参考立体图像对和失真立体图像对分别提取视差图;
步骤(4).将步骤(1)输入的立体图像对的右视图按照步骤(3)中获得的视差图的视差值进行像素点的水平右移,构造和左视图像素坐标对应的校准右视图IR((x+d),y),然后基于步骤(2)得到左视图和校准右视图的能量响应图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
<mrow>
<msub>
<mi>W</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>W</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,FL(x,y)和FR((x+d),y)分别为步骤(2)得到的左视图和校准右视图的能量响应图,d为步骤(3)计算得到的视差图D中对应坐标的视差值;
步骤(5).基于步骤(1)中的参考和失真立体图像对的左视图和步骤(4)得到的参考和失真立体图像对的校准右视图以及归一化的左视图权重图和校准右视图权重图,利用双目视图融合模型实现对立体图像的图像融合,分别得到参考的和失真的中间图像;双目视图融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (5-1)
其中,CI(x,y)即是双目视图融合后的中间图像,IL(x,y)和IR((x+d),y)分别为立体图像对的左视图和校准右视图;
步骤(6).对步骤(5)得到的中间参考和失真图像分别提取参考和失真视觉显著性图,并对其进行整合,建立整合后的视觉显著性图Sf;
步骤(7).利用步骤(3)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,并对失真立体图像对的视差图的失真程度做出度量;采用像素域误差的方法提取参考和失真立体图像对的深度特征信息的相似性,作为反应失真立体图像对在视差图上质量失真程度的指标,表达式如下:
<mrow>
<msub>
<mi>Index</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msqrt>
<mrow>
<mo>|</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>|</mo>
</mrow>
</msqrt>
<mn>255</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>I</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mn>2</mn>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msqrt>
<mrow>
<mi>E</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</msqrt>
<mo>-</mo>
<msqrt>
<mrow>
<mi>E</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>D</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</msqrt>
<mo>|</mo>
</mrow>
<mrow>
<msqrt>
<mrow>
<mi>E</mi>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</msqrt>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,E()是均值函数,ε为大于零的常数,防止分母为零,Index1和Index2是深度特征信息的两个相似性度量指标;
步骤(8).对步骤(5)得到的中间参考和失真图像分别提取边缘和纹理特征;
将Prewitt算子与被测图像进行卷积处理,得到包含边缘轮廓信息的梯度图,利用Prewitt算子提取中间参考和失真图像的边缘信息特征的表达式如下:
<mrow>
<mi>G</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mi>x</mi>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mi>y</mi>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,f(x,y)为立体图像对的左/右视图,为卷积运算,hx和hy是3×3的Prewitt垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘,模板表达式如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
纹理信息特征的提取采用局部二值模式LBP,LBP的表达式如下:
<mrow>
<mi>T</mi>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>P</mi>
</munderover>
<msup>
<mn>2</mn>
<mi>p</mi>
</msup>
<mo>&times;</mo>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>x</mi>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>-</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,gc是图像的中心像素点的灰度值,gp是图像的相邻像素点的灰度值,x和y代表中心像素点的坐标值,sgn(x)是阶跃函数;
步骤(9).将步骤(8)提取的中间参考和失真图像的视觉信息特征和步骤(6)建立的视觉显著性图进行逐像素点的相乘,得到视觉显著性增强的视觉信息特征,具体表达式如下:
GMSR(x,y)=GMR(x,y)*Sf(x,y)GMSD(x,y)=GMD(x,y)*Sf(x,y) (9-1)
TISR(x,y)=TIR(x,y)*Sf(x,y)TISD(x,y)=TID(x,y)*Sf(x,y) (9-2)
ISR(x,y)=IR(x,y)*Sf(x,y)ISD(x,y)=ID(x,y)*Sf(x,y) (9-3)
其中,GMR、TIR和IR分别是中间参考图像的边缘、纹理和亮度特征信息,GMD、TID和ID分别是中间失真图像的边缘、纹理和亮度特征信息;Sf为步骤(6)得到的整合后的视觉显著性图;
步骤(10).对步骤(9)中提取的显著性增强的视觉信息特征进行相似性度量,表达式如下:
<mrow>
<msub>
<mi>Index</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<mo>*</mo>
<msub>
<mi>GM</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>GM</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>4</mn>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>GM</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>GM</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>4</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Index</mi>
<mn>4</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mi>x</mi>
<mi>N</mi>
</munderover>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mi>x</mi>
<mi>N</mi>
</munderover>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<munderover>
<mi>&Sigma;</mi>
<mi>i</mi>
<mi>N</mi>
</munderover>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>10</mn>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Index</mi>
<mn>5</mn>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mn>20</mn>
<mn>255</mn>
</mfrac>
<mo>*</mo>
<mi>lg</mi>
<mo>{</mo>
<mfrac>
<mn>255</mn>
<mrow>
<mfrac>
<mn>1</mn>
<mi>P</mi>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>P</mi>
</msubsup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>S</mi>
<mi>R</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>S</mi>
<mi>D</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,GMSR、TISR和ISR表示中间参考图像的显著性增强的边缘、纹理和亮度信息特征,GMSD、TISD和ISD表示中间失真图像的显著性增强的边缘、纹理和亮度信息,Index3、Index4和Index5分别代表边缘、纹理和亮度信息特征的相似性度量指标,C4是一个大于零的常数,其目的是防止分母为零;
步骤(11).对步骤(5)得到的中间参考和失真图像进行降采样处理,得到p个尺度的中间参考和失真图像,对p个尺度空间下的中间参考和失真图像同样应用步骤(6)、(9)和(10)的方法进行视觉显著性图的建立、视觉特征的提取及相似性度量,总共得到n个相似性度量指标,则n=2p+2;
降采样的方法如下:输入一幅图像,通过低通滤波器得到滤波图像,然后对滤波图像进行采样因子为m的降采样处理,得到降采样后的图像;
步骤(12).整合步骤(8)和(11)中得到的各个度量指标,进行支持向量机SVR训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数。
2.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(3)包括如下步骤:
步骤(3.1).分别将参考和失真立体图像对中的右视图所有像素点水平右移n次,每次移动的步长为s像素点,得到水平右移后的k幅修正右视图IR((x+i*s),y),(i=1,2,…k),则k=n/s,每一幅修正右视图对应的标号为i,(i=1,2,…k);
步骤(3.2).利用结构相似度算法SSIM分别计算立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图,SSIM算法表达式如下:
<mrow>
<mi>S</mi>
<mi>S</mi>
<mi>I</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<mn>2</mn>
<msub>
<mi>&mu;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mrow>
<mn>2</mn>
<msub>
<mi>&sigma;</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&mu;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>3</mn>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差,C1和C2为大于零的常数,防止分母为零;
步骤(3.3).对于左视图的每一个像素点(x,y),取其k幅结构相似性图中局部结构相似性值最大的一幅,对应标号为i,(i=1,2,…k),则i为(x,y)像素点对应的视差值,记录为d,从而构建视差图D。
3.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(6)具体为:
视觉显著性图提取方法采用谱残差的视觉显著性模型(SR),具体内容如下:
给定一幅图像I(x,y),有:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>Re</mi>
<mrow>
<mo>{</mo>
<mrow>
<mi>F</mi>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<mo>}</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>A</mi>
<mi>n</mi>
<mi>g</mi>
<mi>l</mi>
<mi>e</mi>
<mrow>
<mo>{</mo>
<mrow>
<mi>F</mi>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<mo>}</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>log</mi>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mi>A</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>h</mi>
<mi>n</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msup>
<mi>F</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mrow>
<mo>{</mo>
<mrow>
<mi>exp</mi>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>i</mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<mo>}</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mrow>
<mn>6</mn>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中,F()和F-1()为二维傅里叶变换和其反变换,Re()表示取实部运算,Angle()表示取辐角运算,S(x,y)为通过谱残差方法得到的显著性图,g(x,y)是高斯低通滤波器,hn(f)是局部均值滤波器,其表达式如下:
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,σ是概率分布中的标准偏差;
对中间参考和失真图像通过谱残差的方法得到参考和失真视觉显著性图,按下式所示的方法建立整合后的视觉显著性图;
Sf(x,y)=Max[Sref(x,y),Sdis(x,y)] (6-4)
其中,Sref和Sdis分别为中间参考和失真图像的视觉显著性图,Sf为整合后的视觉显著性图。
4.根据权利要求1所述的基于视觉显著特征提取的全参考立体图像质量客观评价方法,其特征在于所述的步骤(12)中进行支持向量机SVR训练预测,获得最佳预测模型具体为:
SVR训练预测方法具体采用5-折交叉验证来训练与测试模型,具体方案如下:
步骤(12.1).将样本随机分为互不相交的五份,选出其中四份进行SVR训练以获得最佳模型,然后将剩余的一份运用到该模型上去,得到相应的客观质量值来对主观质量进行预测;
步骤(12.2).将步骤(12.1)的操作重复进行多次,取所有数据结果平均值来表征所提出模型的性能;
具体表达式如下:
Q=SVR(Index1,Index2,…,Indexn) (12-1)
其中,Q为客观质量评价分数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710721546.XA CN107578404B (zh) | 2017-08-22 | 2017-08-22 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710721546.XA CN107578404B (zh) | 2017-08-22 | 2017-08-22 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578404A true CN107578404A (zh) | 2018-01-12 |
CN107578404B CN107578404B (zh) | 2019-11-15 |
Family
ID=61034182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710721546.XA Active CN107578404B (zh) | 2017-08-22 | 2017-08-22 | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578404B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335289A (zh) * | 2018-01-18 | 2018-07-27 | 天津大学 | 一种全参考融合的图像客观质量评价方法 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
CN108520510A (zh) * | 2018-03-19 | 2018-09-11 | 天津大学 | 一种基于整体和局部分析的无参考立体图像质量评价方法 |
CN108629763A (zh) * | 2018-04-16 | 2018-10-09 | 海信集团有限公司 | 一种视差图的评判方法、装置及终端 |
CN108648180A (zh) * | 2018-04-20 | 2018-10-12 | 浙江科技学院 | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 |
CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
CN109257593A (zh) * | 2018-10-12 | 2019-01-22 | 天津大学 | 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109345502A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109345552A (zh) * | 2018-09-20 | 2019-02-15 | 天津大学 | 基于区域权重的立体图像质量评价方法 |
CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
CN109525838A (zh) * | 2018-11-28 | 2019-03-26 | 上饶师范学院 | 基于双目竞争的立体图像质量评价方法 |
CN109714593A (zh) * | 2019-01-31 | 2019-05-03 | 天津大学 | 基于双目融合网络与显著性的立体视频质量评价方法 |
CN109872305A (zh) * | 2019-01-22 | 2019-06-11 | 浙江科技学院 | 一种基于质量图生成网络的无参考立体图像质量评价方法 |
CN110084782A (zh) * | 2019-03-27 | 2019-08-02 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
CN110399881A (zh) * | 2019-07-11 | 2019-11-01 | 深圳大学 | 一种端到端的基于双目立体图像的质量增强方法及装置 |
CN111598826A (zh) * | 2019-02-19 | 2020-08-28 | 上海交通大学 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
CN111738270A (zh) * | 2020-08-26 | 2020-10-02 | 北京易真学思教育科技有限公司 | 模型生成方法、装置、设备和可读存储介质 |
CN112233089A (zh) * | 2020-10-14 | 2021-01-15 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
CN112508847A (zh) * | 2020-11-05 | 2021-03-16 | 西安理工大学 | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 |
US11244157B2 (en) * | 2019-07-05 | 2022-02-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Image detection method, apparatus, device and storage medium |
WO2023142753A1 (zh) * | 2022-01-27 | 2023-08-03 | 华为技术有限公司 | 图像相似性度量方法及其装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150078654A1 (en) * | 2013-09-13 | 2015-03-19 | Interra Systems, Inc. | Visual Descriptors Based Video Quality Assessment Using Outlier Model |
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN105825503A (zh) * | 2016-03-10 | 2016-08-03 | 天津大学 | 基于视觉显著性的图像质量评价方法 |
CN105959684A (zh) * | 2016-05-26 | 2016-09-21 | 天津大学 | 基于双目融合的立体图像质量评价方法 |
CN106780476A (zh) * | 2016-12-29 | 2017-05-31 | 杭州电子科技大学 | 一种基于人眼立体视觉特性的立体图像显著性检测方法 |
CN106920232A (zh) * | 2017-02-22 | 2017-07-04 | 武汉大学 | 基于显著性检测的梯度相似度图像质量评价方法及*** |
-
2017
- 2017-08-22 CN CN201710721546.XA patent/CN107578404B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150078654A1 (en) * | 2013-09-13 | 2015-03-19 | Interra Systems, Inc. | Visual Descriptors Based Video Quality Assessment Using Outlier Model |
CN105825503A (zh) * | 2016-03-10 | 2016-08-03 | 天津大学 | 基于视觉显著性的图像质量评价方法 |
CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
CN105959684A (zh) * | 2016-05-26 | 2016-09-21 | 天津大学 | 基于双目融合的立体图像质量评价方法 |
CN106780476A (zh) * | 2016-12-29 | 2017-05-31 | 杭州电子科技大学 | 一种基于人眼立体视觉特性的立体图像显著性检测方法 |
CN106920232A (zh) * | 2017-02-22 | 2017-07-04 | 武汉大学 | 基于显著性检测的梯度相似度图像质量评价方法及*** |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335289A (zh) * | 2018-01-18 | 2018-07-27 | 天津大学 | 一种全参考融合的图像客观质量评价方法 |
CN108520510B (zh) * | 2018-03-19 | 2021-10-19 | 天津大学 | 一种基于整体和局部分析的无参考立体图像质量评价方法 |
CN108520510A (zh) * | 2018-03-19 | 2018-09-11 | 天津大学 | 一种基于整体和局部分析的无参考立体图像质量评价方法 |
CN108629763B (zh) * | 2018-04-16 | 2022-02-01 | 海信集团有限公司 | 一种视差图的评判方法、装置及终端 |
CN108629763A (zh) * | 2018-04-16 | 2018-10-09 | 海信集团有限公司 | 一种视差图的评判方法、装置及终端 |
CN108449596A (zh) * | 2018-04-17 | 2018-08-24 | 福州大学 | 一种融合美学和舒适度的3d立体图像质量评估方法 |
CN108648180A (zh) * | 2018-04-20 | 2018-10-12 | 浙江科技学院 | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 |
CN108648180B (zh) * | 2018-04-20 | 2020-11-17 | 浙江科技学院 | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109345502A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109255358B (zh) * | 2018-08-06 | 2021-03-26 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109345502B (zh) * | 2018-08-06 | 2021-03-26 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
CN109345552A (zh) * | 2018-09-20 | 2019-02-15 | 天津大学 | 基于区域权重的立体图像质量评价方法 |
CN109523506B (zh) * | 2018-09-21 | 2021-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
CN109257593B (zh) * | 2018-10-12 | 2020-08-18 | 天津大学 | 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 |
CN109257593A (zh) * | 2018-10-12 | 2019-01-22 | 天津大学 | 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 |
CN109525838A (zh) * | 2018-11-28 | 2019-03-26 | 上饶师范学院 | 基于双目竞争的立体图像质量评价方法 |
CN109872305A (zh) * | 2019-01-22 | 2019-06-11 | 浙江科技学院 | 一种基于质量图生成网络的无参考立体图像质量评价方法 |
CN109872305B (zh) * | 2019-01-22 | 2020-08-18 | 浙江科技学院 | 一种基于质量图生成网络的无参考立体图像质量评价方法 |
CN109714593A (zh) * | 2019-01-31 | 2019-05-03 | 天津大学 | 基于双目融合网络与显著性的立体视频质量评价方法 |
CN111598826A (zh) * | 2019-02-19 | 2020-08-28 | 上海交通大学 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
CN111598826B (zh) * | 2019-02-19 | 2023-05-02 | 上海交通大学 | 基于联合多尺度图片特征的图片客观质量评价方法、*** |
CN110084782A (zh) * | 2019-03-27 | 2019-08-02 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
CN110084782B (zh) * | 2019-03-27 | 2022-02-01 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
US11244157B2 (en) * | 2019-07-05 | 2022-02-08 | Baidu Online Network Technology (Beijing) Co., Ltd. | Image detection method, apparatus, device and storage medium |
CN110399881A (zh) * | 2019-07-11 | 2019-11-01 | 深圳大学 | 一种端到端的基于双目立体图像的质量增强方法及装置 |
CN111738270A (zh) * | 2020-08-26 | 2020-10-02 | 北京易真学思教育科技有限公司 | 模型生成方法、装置、设备和可读存储介质 |
CN112233089A (zh) * | 2020-10-14 | 2021-01-15 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
CN112508847A (zh) * | 2020-11-05 | 2021-03-16 | 西安理工大学 | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 |
WO2023142753A1 (zh) * | 2022-01-27 | 2023-08-03 | 华为技术有限公司 | 图像相似性度量方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107578404B (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578404A (zh) | 基于视觉显著特征提取的全参考立体图像质量客观评价方法 | |
CN107578403B (zh) | 基于梯度信息指导双目视图融合的立体图像质量评价方法 | |
CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
CN109523506B (zh) | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 | |
CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN106462771A (zh) | 一种3d图像的显著性检测方法 | |
CN103426200B (zh) | 基于无人机航拍序列图像的树木三维重建方法 | |
CN106709950A (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN111563418A (zh) | 一种基于注意力机制的非对称多模态融合显著性检测方法 | |
CN105744256A (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
CN107635136B (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
CN113192206B (zh) | 基于目标检测和背景去除的三维模型实时重建方法及装置 | |
CN105488541A (zh) | 增强现实***中基于机器学习的自然特征点识别方法 | |
CN110246111A (zh) | 基于融合图像和强化图像的无参考立体图像质量评价方法 | |
CN108259893B (zh) | 基于双流卷积神经网络的虚拟现实视频质量评价方法 | |
CN105261006A (zh) | 基于傅里叶变换的医学图像分割算法 | |
CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
CN103618891B (zh) | 一种立体相机微距会聚拍摄质量客观评价方法 | |
CN108830856A (zh) | 一种基于时间序列sd-oct视网膜图像的ga自动分割方法 | |
CN103871066A (zh) | 超声图像Ncut分割中相似度矩阵的构造方法 | |
CN109510981A (zh) | 一种基于多尺度dct变换的立体图像舒适度预测方法 | |
CN103914835A (zh) | 一种针对模糊失真立体图像的无参考质量评价方法 | |
CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
CN102982532B (zh) | 一种基于矩阵分解的立体图像客观质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |