CN109903273B - 一种基于dct域特征的立体图像质量客观评价方法 - Google Patents

一种基于dct域特征的立体图像质量客观评价方法 Download PDF

Info

Publication number
CN109903273B
CN109903273B CN201910091249.0A CN201910091249A CN109903273B CN 109903273 B CN109903273 B CN 109903273B CN 201910091249 A CN201910091249 A CN 201910091249A CN 109903273 B CN109903273 B CN 109903273B
Authority
CN
China
Prior art keywords
stereo image
left view
dct
right view
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910091249.0A
Other languages
English (en)
Other versions
CN109903273A (zh
Inventor
柴利
刘天
盛玉霞
杨君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910091249.0A priority Critical patent/CN109903273B/zh
Publication of CN109903273A publication Critical patent/CN109903273A/zh
Application granted granted Critical
Publication of CN109903273B publication Critical patent/CN109903273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于DCT域特征的立体图像质量客观评价方法。其技术方案是，基于双目融合特性，将左视图IL(x，y)和右视图IR(x，y)合成融合独眼图O1(x，y)，基于双目竞争特性，将左视图IL(x，y)和右视图IR(x，y)合成竞争独眼图O2(x，y)；然后对左视图IL(x，y)、右视图IR(x，y)、融合独眼图O1(x，y)和竞争独眼图O2(x，y)进行DCT域特征提取，合并四幅图特征作为立体图像对的特征矢量；在立体图像库中，对提取的DCT域特征矢量进行机器学习，建立支持向量回归模型；最后，提取待测立体图像对的特征矢量，通过支持向量回归模型，得到评价质量分数。本发明具有充分结合双目视觉特性和利用DCT域特征的特点，所提供的评价方法准确度高、评价性能优良和方法简单，能充分反映人眼视觉特性。

Description

一种基于DCT域特征的立体图像质量客观评价方法
技术领域
本发明属于立体图像质量客观评价方法技术领域。特别涉及一种基于DCT域特征的立体图像质量客观评价方法。
背景技术
三维图像因其带给人们的立体感和临场感，得到了蓬勃发展。但立体图像在图像采集、编码和传输等处理过程中，或多或少会受到失真的影响，而其失真程度影响着接收图像的质量，也能反映图像处理***性能的好坏，因此如何建立全面结合人类立体视觉感知的立体图像质量评价方法是一个值得研究的问题。
立体图像质量评价包括主观评价方法和客观评价方法。主观评价方法由感知者直接观察并对图像进行评定，其结果最符合人眼对图像质量的感知特性，但其耗时耗力，难以推广实现。客观评价方法利用主观实验中得出的视觉感知特性来设计数学模型，具有速度快、易实现和可嵌入等优点，故而受到青睐。
客观图像质量评价依据对原始图像的依赖程度分为：全参考型、半参考型和无参考型。由于在实际应用中很难获取原始图像的信息，因此无参考型立体图像质量客观评价方法受到了越来越广泛的关注。但一方面，现有立体图像质量客观评价方法存在没有充分结合双目视觉特性的问题；另一方面，现有立体图像质量客观评价方法集中对立体图像的空域特征进行提取，忽略了立体图像频域上的信息。
综上所述，现有的立体图像客观评价方法没有充分结合双目视觉特性，也没有利用立体图像频域上的感知特征，导致评价效果不准确，不能充分反应人眼视觉特性。
发明内容
本发明旨在克服现有技术缺陷，目的是提供一种能充分结合双目视觉特性和能利用立体图像频域上的感知特征的基于DCT域特征的立体图像质量客观评价方法，该方法准确度高、方法简单和能充分反映人眼视觉特性。
为了实现上述目的，本发明采用的技术方案是：
第一步、先利用图像结构相似性的立体图像匹配算法，得到左视图IL(x,y)和右视图IR(x,y)的水平视差d；再将左视图IL(x,y)和右视图IR(x,y)分别进行Gabor滤波，依次得到左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，依据左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，得到左视图IL(x,y)和右视图IR(x,y)相应的权重：
Figure BDA0001963324730000021
Figure BDA0001963324730000022
基于双目融合特性，依据左视图IL(x,y)和右视图IR(x,y)的权重因子，将左视图IL(x,y)和右视图IR(x,y)合成融合独眼图O1(x,y)：
O1(x,y)＝WL(x,y)×IL(x,y)+WR(x+d,y)×IR(x+d,y) (3)
式(1)～(3)中：
x表示某一像素点的横坐标；
y表示某一像素点的纵坐标；
d表示左视图IL(x,y)的像素点到右视图IR(x,y)对应像素点的水平视差；
WL(x,y)表示左视图IL(x,y)的权重因子；
WR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图IR(x,y)的权重因子；
GEL(x,y)表示左视图IL(x,y)通过Gabor滤波得到的卷积和；
GER(x,y)表示右视图IR(x,y)通过Gabor滤波得到的卷积和；
GEL(x+d,y)表示将左视图IL(x,y)平移水平视差d后再通过Gabor滤波得到的卷积和；
IL(x,y)表示左视图；
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图。
第二步、在N×N的窗口内对左视图IL(x,y)的方差进行计算，N为正奇数；得到左视图IL(x,y)的空间活动性ε[SL(x,y)+C]：
Figure BDA0001963324730000023
将右视图IR(x,y)每一个像素点平移水平视差d得到平移后的右视图IR(x+d,y)；同理，得到平移后的右视图IR(x+d,y)的空间活动性ε[SR(x+d,y)+C]：
Figure BDA0001963324730000024
式(4)～(5)中：
SL(x,y)表示左视图IL(x,y)的N×N窗口内中心像素；
Figure BDA0001963324730000031
表示N×N窗口内中心像素SL(x,y)与窗口内其它像素的方差；
C表示常数，0≤C≤0.01；
SR(x+d,y)表示平移后右视图IR(x+d,y)的N×N窗口内中心像素；
Figure BDA0001963324730000032
为N×N窗口内中心像素SR(x+d,y)与窗口内其它像素的方差。
依据双目竞争特性，将左视图IL(x,y)和右视图IR(x,y)合成竞争独眼图O2(x,y)：
Figure BDA0001963324730000033
式(6)中：
IL(x,y)表示左视图；
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后的右视图；
ε[SL(x,y)+C]表示左视图IL(x,y)的空间活动性；
ε[SR(x+d,y)+C]表示平移水平视差d得到的平移后的右视图IR(x+d,y)的空间活动性。
第三步、对左视图IL(x,y)进行DCT域变换，截取高频部分，得到左视图的高频部分DCT系数IDCT(x,y)；用N×N的高斯加权窗对高频部分DCT系数IDCT(x,y)进行滤波，得到左视图IL(x,y)的高频部分归一化DCT系数F(x,y)：
Figure BDA0001963324730000034
式(7)中：
C1表示常数，0≤C1≤0.01；
μDCT(x,y)表示窗口内像素DCT系数均值；
σDCT(x,y)表示窗口内中心像素DCT系数值与其它像素DCT系数值的方差。
左视图IL(x,y)的高频部分归一化DCT系数F(x,y)的特征提取：
(1)对得到的左视图IL(x,y)的高频部分归一化DCT系数F(x,y)进行广义高斯分布GGD拟合，得到形状参数α和方差参数σ2，将形状参数α和方差参数σ2作为DCT域的特征参数。
(2)沿着水平方向、垂直方向和两个对角线方向分别求左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积：
HC(x,y)＝F(x,y)·F(x,y+1) (8)
VC(x,y)＝F(x,y)·F(x+1,y) (9)
MD(x,y)＝F(x,y)·F(x+1,y+1) (10)
SD(x,y)＝F(x,y)·F(x+1,y-1) (11)
式(8)～(11)中：
HC(x,y)为垂直方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
VC(x,y)为水平方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
MD(x,y)为主对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
SD(x,y)为副对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积。
对以上左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积HC(x,y)、VC(x,y)、MD(x,y)和SD(x,y)进行非对称性广义高斯分布AGGD拟合，得到每个方向的特征参数：均值参数ν、左方差参数σl和右方差参数σr，共得到4个方向的12个特征参数，将这4个方向的12个特征参数作为DCT域的特征参数。
第四步：按照第三步的左视图IL(x,y)DCT域的特征提取的方法，依次对右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)进行DCT域的特征提取，依次得到右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数。
合并左视图IL(x,y)、右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数，得到立体图像对DCT域的特征矢量。
第五步：利用现有的立体图像库，对立体图像库中所有的立体图像对按第一步～第四步的方法操作，得到所有立体图像对DCT域的特征矢量；利用支持向量回归算法对所有立体图像对DCT域的特征矢量进行训练，找到立体图像对的DCT域特征矢量与主观质量分数的映射关系，得到训练好的支持向量回归模型SVRtrain。
第六步：给定待测立体图像对，对待测立体图像对按第一步～第四步的方法操作，得到待测立体图像对的DCT域的特征矢量，通过第五步中训练好的支持向量回归模型SVRtrain，得到最终评价质量分数Q：
Q＝SVRtrain(X) (8)
式(8)中：
X为从待测立体图像对中提取的DCT域特征向量；
SVRtrain为训练好的支持向量回归模型。
对于待测立体图像对，最终评价质量分数Q值越接近于1代表待测立体图像对的图像质量越好，具体地：
当最终评价质量分数Q大于等于0且小于0.2时，表示待测立体图像对的图像质量很差；
当最终评价质量分数Q大于等于0.2且小于0.4时，表示待测立体图像对的图像质量差；
当最终评价质量分数Q大于等于0.4且小于0.6时，表示待测立体图像对的图像质量一般；
当最终评价质量分数Q大于等于0.6且小于0.8时，表示待测立体图像对的图像质量好；
当最终评价质量分数Q大于等于0.8且小于1时，表示待测立体图像对的图像质量很好。
由于采用上述技术方案，本发明与现有技术相比，具有如下积极效果：
本发明利用独眼图模拟双目图像在大脑中合成一幅图像的特点，同时依据双目融合和双目竞争特性，合成了两幅独眼图；本发明充分结合双目视觉特性，有效地捕捉了人眼双目感知特性；在图像特征提取的方法上，本发明提取了立体图像对DCT域上的特征，有效反映了人眼感知特征，同时简化了DCT域特征提取算法，降低了计算复杂度。
因此，本发明充分结合双目视觉特性和利用立体图像频域上的感知特征，具有评价准确度高、方法简单和能充分反映人眼视觉特性的特征。
附图说明
下面结合附图和具体实施方式对本发明作进一步描述，并非对其保护范围的限制：
图1为本发明的一个待测立体图像对的左视图；
图2为图1所示待测立体图像对的左视图相应的右视图；
图3为图1和图2所示待测立体图像对合成的融合独眼图；
图4为图1和图2所示待测立体图像对合成的竞争独眼图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的描述，并非对其保护范围的限制：
实施例1
一种基于DCT域特征的立体图像质量客观评价方法。所述评价方法的具体步骤如下：
第一步、先利用图像结构相似性的立体图像匹配算法，得到左视图IL(x,y)和右视图IR(x,y)的水平视差d；再将左视图IL(x,y)和右视图IR(x,y)分别进行Gabor滤波，依次得到左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，依据左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，得到左视图IL(x,y)和右视图IR(x,y)相应的权重：
Figure BDA0001963324730000061
Figure BDA0001963324730000062
基于双目融合特性，依据左视图IL(x,y)和右视图IR(x,y)的权重因子，将左视图IL(x,y)和右视图IR(x,y)合成融合独眼图O1(x,y)：
O1(x,y)＝WL(x,y)×IL(x,y)+WR(x+d,y)×IR(x+d,y) (3)
式(1)～(3)中：
x表示某一像素点的横坐标；
y表示某一像素点的纵坐标；
d表示左视图IL(x,y)的像素点到右视图IR(x,y)对应像素点的水平视差；
WL(x,y)表示左视图IL(x,y)的权重因子；
WR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图IR(x,y)的权重因子；
GEL(x,y)表示左视图IL(x,y)通过Gabor滤波得到的卷积和；
GER(x,y)表示右视图IR(x,y)通过Gabor滤波得到的卷积和；
GEL(x+d,y)表示将左视图IL(x,y)平移水平视差d后再通过Gabor滤波得到的卷积和；
IL(x,y)表示左视图；
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图。
第二步、在N×N的窗口内对左视图IL(x,y)的方差进行计算，N为正奇数；得到左视图IL(x,y)的空间活动性ε[SL(x,y)+C]：
Figure BDA0001963324730000063
将右视图IR(x,y)每一个像素点平移水平视差d得到平移后的右视图IR(x+d,y)；同理，得到平移后的右视图IR(x+d,y)的空间活动性ε[SR(x+d,y)+C]：
Figure BDA0001963324730000064
式(4)～(5)中：
SL(x,y)表示左视图IL(x,y)的N×N窗口内中心像素；
Figure BDA0001963324730000071
表示N×N窗口内中心像素SL(x,y)与窗口内其它像素的方差；
C表示常数，0≤C≤0.01,在本实例中，C＝0.01；
SR(x+d,y)表示平移后右视q图IR(x+d,y)的N×N窗口内中心像素；
Figure BDA0001963324730000072
为N×N窗口内中心像素SR(x+d,y)与窗口内其它像素的方差。
依据双目竞争特性，将左视图IL(x,y)和右视图IR(x,y)合成竞争独眼图O2(x,y)：
Figure BDA0001963324730000073
式(6)中：
IL(x,y)表示左视图；
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后的右视图；
ε[SL(x,y)+C]表示左视图IL(x,y)的空间活动性；
ε[SR(x+d,y)+C]表示平移水平视差d得到的平移后的右视图IR(x+d,y)的空间活动性。
第三步：对左视图IL(x,y)进行DCT域变换，截取高频部分，得到左视图的高频部分DCT系数IDCT(x,y)；用N×N的高斯加权窗对高频部分DCT系数IDCT(x,y)进行滤波，得到左视图IL(x,y)的高频部分归一化DCT系数F(x,y)：
Figure BDA0001963324730000074
式(7)中：
C1表示常数，0≤C1≤0.01；本实例中，C1＝0.01；
μDCT(x,y)表示窗口内像素DCT系数均值；
σDCT(x,y)表示窗口内中心像素DCT系数值与其它像素DCT系数值的方差。
左视图IL(x,y)的高频部分归一化DCT系数F(x,y)的特征提取:
(1)对得到的左视图IL(x,y)的高频部分归一化DCT系数F(x,y)进行广义高斯分布GGD拟合，得到形状参数α和方差参数σ2，将形状参数α和方差参数σ2作为DCT域的特征参数。
(2)沿着水平方向、垂直方向和两个对角线方向分别求左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积：
HC(x,y)＝F(x,y)·F(x,y+1) (8)
VC(x,y)＝F(x,y)·F(x+1,y) (9)
MD(x,y)＝F(x,y)·F(x+1,y+1) (10)
SD(x,y)＝F(x,y)·F(x+1,y-1) (11)
式(8)～(11)中：
HC(x,y)为垂直方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
VC(x,y)为水平方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
MD(x,y)为主对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
SD(x,y)为副对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积。
对以上左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积HC(x,y)、VC(x,y)、MD(x,y)和SD(x,y)进行非对称性广义高斯分布AGGD拟合，得到每个方向的特征参数：均值参数ν、左方差参数σl和右方差参数σr，共得到4个方向的12个特征参数，将这4个方向的12个特征参数作为DCT域的特征参数。
第四步：按照第三步的左视图IL(x,y)DCT域的特征提取的方法，依次对右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)进行DCT域的特征提取，依次得到右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数。
合并左视图IL(x,y)、右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数，得到立体图像对DCT域的特征矢量。
第五步：利用现有的立体图像库，对立体图像库中所有的立体图像对按第一步～第四步的方法操作，得到所有立体图像对DCT域的特征矢量；利用支持向量回归算法对所有立体图像对DCT域的特征矢量进行训练，找到立体图像对的DCT域特征矢量与主观质量分数的映射关系，得到训练好的支持向量回归模型SVRtrain。
第六步：给定待测立体图像对，对待测立体图像对按第一步～第四步的方法操作，待测立体图像对中的左视图如图1所示，待测立体图像对中的右视图如图2所示，对待测立体图像对按第一步合成融合独眼图，融合独眼图如图3所示，对待测立体图像对按第二步合成竞争独眼图，竞争独眼图如图4所示。
按第三～四步的方法操作，得到形状参数α＝2.478和方差参数σ2＝0.225，得到垂直方向的均值参数v＝0.002、左方差参数σl＝2.684和右方差参数σr＝0.913，得到水平方向的均值参数v＝-0.099、左方差参数σl＝0.071和右方差参数σr＝0.015，得到主对角线方向的均值参数v＝-1.264、左方差参数σl＝6.819和右方差参数σr＝0.889，得到副对角线方向的均值参数v＝0.124、左方差参数σl＝0.012和右方差参数σr＝0.086。
将以上所有参数合并成待测立体图像对的DCT域的特征矢量X，得到待测立体图像对的DCT域的特征矢量，通过第五步中训练好的支持向量回归模型SVRtrain，得到最终评价质量分数Q：
Q＝SVRtrain(X) (12)
式(12)中：
X为从待测立体图像对中提取的DCT域特征向量；
SVRtrain为训练好的支持向量回归模型。
对于待测立体图像对，最终评价质量分数Q值越接近于1代表待测立体图像对的图像质量越好，具体地：
当最终评价质量分数Q大于等于0且小于0.2时，表示待测立体图像对的图像质量很差；
当最终评价质量分数Q大于等于0.2且小于0.4时，表示待测立体图像对的图像质量；
当最终评价质量分数Q大于等于0.4且小于0.6时，表示待测立体图像对的图像质量一般；
当最终评价质量分数Q大于等于0.6且小于0.8时，表示待测立体图像对的图像质量好；
当最终评价质量分数Q大于等于0.8且小于时，表示待测立体图像对的图像质量很好。
本实施例中：最终评价质量分数Q＝0.945678901880062，故待测立体图像对的图像质量很好。
本具体实施方式与现有技术相比，具有如下积极效果：
本具体实施方式利用独眼图模拟双目图像在大脑中合成一幅图像的特点，同时依据双目融合和双目竞争特性，合成了两幅独眼图；本具体实施方式充分结合双目视觉特性，有效地捕捉了人眼双目感知特性；在图像特征提取的方法上，本具体实施方式提取了立体图像对DCT域上的特征，有效反映了人眼感知特征，同时简化了DCT域特征提取算法，降低了计算复杂度。
因此，本具体实施方式充分结合双目视觉特性和利用立体图像频域上的感知特征，具有评价准确度高、方法简单和能充分反映人眼视觉特性的特征。

Claims (1)

1.一种基于DCT域特征的立体图像质量客观评价方法，其特征在于所述基于DCT域特征的立体图像质量客观评价方法的具体步骤：
第一步、先利用图像结构相似性的立体图像匹配算法，得到左视图IL(x,y)和右视图IR(x,y)的水平视差d；再将左视图IL(x,y)和右视图IR(x,y)分别进行Gabor滤波，依次得到左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，依据左视图IL(x,y)滤波后的卷积和GEL(x,y)和右视图IR(x,y)滤波后的卷积和GER(x,y)，得到左视图IL(x,y)和右视图IR(x,y)相应的权重：
Figure FDA0001963324720000011
Figure FDA0001963324720000012
基于双目融合特性，依据左视图IL(x,y)和右视图IR(x,y)的权重因子，将左视图IL(x,y)和右视图IR(x,y)合成融合独眼图O1(x,y)：
O1(x,y)＝WL(x,y)×IL(x,y)+WR(x+d,y)×IR(x+d,y) (3)
式(1)～(3)中：
x表示某一像素点的横坐标，
y表示某一像素点的纵坐标，
d表示左视图IL(x,y)的像素点到右视图IR(x,y)对应像素点的水平视差，
WL(x,y)表示左视图IL(x,y)的权重因子，
WR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图IR(x,y)的权重因子，
GEL(x,y)表示左视图IL(x,y)通过Gabor滤波得到的卷积和，
GER(x,y)表示右视图IR(x,y)通过Gabor滤波得到的卷积和，
GEL(x+d,y)表示将左视图IL(x,y)平移水平视差d后再通过Gabor滤波得到的卷积和，
IL(x,y)表示左视图，
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后右视图；
第二步、在N×N的窗口内对左视图IL(x，y)的方差进行计算，N为正奇数；得到左视图IL(x，y)的空间活动性ε[SL(x，y)+C]：
Figure FDA0001963324720000021
将右视图IR(x，y)每一个像素点平移水平视差d得到平移后的右视图IR(x+d，y)；同理，得到平移后的右视图IR(x+d，y)的空间活动性ε[SR(x+d，y)+C]：
Figure FDA0001963324720000022
式(4)～(5)中：
SL(x,y)表示左视图IL(x,y)的N×N窗口内中心像素，
Figure FDA0001963324720000023
表示N×N窗口内中心像素SL(x,y)与窗口内其它像素的方差，
C表示常数，0≤C≤0.01，
SR(x+d,y)表示平移后右视图IR(x+d,y)的N×N窗口内中心像素，
Figure FDA0001963324720000024
为N×N窗口内中心像素SR(x+d,y)与窗口内其它像素的方差；
依据双目竞争特性，将左视图IL(x,y)和右视图IR(x,y)合成竞争独眼图O2(x,y)：
Figure FDA0001963324720000025
式(6)中：
IL(x,y)表示左视图，
IR(x+d,y)表示将右视图IR(x,y)每一个像素点平移水平视差d得到的平移后的右视图，
ε[SL(x,y)+C]表示左视图IL(x,y)的空间活动性，
ε[SR(x+d,y)+C]表示平移水平视差d得到的平移后的右视图IR(x+d,y)的空间活动性；
第三步、对左视图IL(x,y)进行DCT域变换，截取高频部分，得到左视图的高频部分DCT系数IDCT(x,y)；用N×N的高斯加权窗对高频部分DCT系数IDCT(x,y)进行滤波，得到左视图IL(x,y)的高频部分归一化DCT系数F(x,y)：
Figure FDA0001963324720000026
式(7)中：
C1表示常数，0≤C1≤0.01，
μDCT(x,y)表示窗口内像素DCT系数均值，
σDCT(x,y)表示窗口内中心像素DCT系数值与其它像素DCT系数值的方差；
左视图IL(x,y)的高频部分归一化DCT系数F(x,y)的特征提取：
(1)对得到的左视图IL(x,y)的高频部分归一化DCT系数F(x,y)进行广义高斯分布GGD拟合，得到形状参数α和方差参数σ2，将形状参数α和方差参数σ2作为DCT域的特征参数；
(2)沿着水平方向、垂直方向和两个对角线方向分别求左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积：
HC(x,y)＝F(x,y)·F(x,y+1) (8)
VC(x,y)＝F(x,y)·F(x+1,y) (9)
MD(x,y)＝F(x,y)·F(x+1,y+1) (10)
SD(x,y)＝F(x,y)·F(x+1,y-1) (11)
式(8)～(11)中：
HC(x,y)为垂直方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积，
VC(x,y)为水平方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积，
MD(x,y)为主对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积，
SD(x,y)为副对角线方向相邻像素的高频部分归一化DCT系数F(x,y)的乘积；
对以上左视图相邻像素的高频部分归一化DCT系数F(x,y)的乘积HC(x,y)、VC(x,y)、MD(x,y)和SD(x,y)进行非对称性广义高斯分布AGGD拟合，得到每个方向的特征参数：均值参数ν、左方差参数σl和右方差参数σr，共得到4个方向的12个特征参数，将这4个方向的12个特征参数作为DCT域的特征参数；
第四步：按照第三步的左视图IL(x,y)DCT域的特征提取的方法，依次对右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)进行DCT域的特征提取，依次得到右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数；
合并左视图IL(x,y)、右视图IR(x,y)、融合独眼图O1(x,y)和竞争独眼图O2(x,y)的DCT域的特征参数，得到立体图像对DCT域的特征矢量；
第五步：利用现有的立体图像库，对立体图像库中所有的立体图像对按第一步～第四步的方法操作，得到所有立体图像对DCT域的特征矢量；利用支持向量回归算法对所有立体图像对DCT域的特征矢量进行训练，找到立体图像对的DCT域特征矢量与主观质量分数的映射关系，得到训练好的支持向量回归模型SVRtrain；
第六步：给定待测立体图像对，对待测立体图像对按第一步～第四步的方法操作，得到待测立体图像对的DCT域的特征矢量，通过第五步中训练好的支持向量回归模型SVRtrain，得到最终评价质量分数Q：
Q＝SVRtrain(X) (12)
式(12)中：
X为从待测立体图像对中提取的DCT域特征向量，
SVRtrain为训练好的支持向量回归模型；
对于待测立体图像对，最终评价质量分数Q值越接近于1代表待测立体图像对的图像质量越好，具体地：
当最终评价质量分数Q大于等于0且小于0.2时，表示待测立体图像对的图像质量很差，
当最终评价质量分数Q大于等于0.2且小于0.4时，表示待测立体图像对的图像质量差，
当最终评价质量分数Q大于等于0.4且小于0.6时，表示待测立体图像对的图像质量一般，
当最终评价质量分数Q大于等于0.6且小于0.8时，表示待测立体图像对的图像质量好，
当最终评价质量分数Q大于等于0.8且小于1时，表示待测立体图像对的图像质量很好。
CN201910091249.0A 2019-01-30 2019-01-30 一种基于dct域特征的立体图像质量客观评价方法 Active CN109903273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910091249.0A CN109903273B (zh) 2019-01-30 2019-01-30 一种基于dct域特征的立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910091249.0A CN109903273B (zh) 2019-01-30 2019-01-30 一种基于dct域特征的立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN109903273A CN109903273A (zh) 2019-06-18
CN109903273B true CN109903273B (zh) 2023-03-17

Family

ID=66944416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910091249.0A Active CN109903273B (zh) 2019-01-30 2019-01-30 一种基于dct域特征的立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN109903273B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903107A (zh) * 2012-09-24 2013-01-30 宁波大学 一种基于特征融合的立体图像质量客观评价方法
CN109257592A (zh) * 2017-07-12 2019-01-22 天津大学 基于深度学习的立体视频质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595185B (zh) * 2012-02-27 2014-06-25 宁波大学 一种立体图像质量客观评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903107A (zh) * 2012-09-24 2013-01-30 宁波大学 一种基于特征融合的立体图像质量客观评价方法
CN109257592A (zh) * 2017-07-12 2019-01-22 天津大学 基于深度学习的立体视频质量客观评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sazzad Z M P,et al..Objective no-reference stereoscopic image quality prediction based on 2D image features and relative disparity.2014,全文. *
何美伶 ; 郁梅 ; .基于双目融合与竞争的无参考立体图像质量评价方法.2016,(04),全文. *
薛小波 ; 郁梅 ; 何美伶 ; .基于仿视觉细胞模型的立体图像质量评价方法.2016,(04),全文. *

Also Published As

Publication number Publication date
CN109903273A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN110889895B (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN110060236B (zh) 基于深度卷积神经网络的立体图像质量评价方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN108765414B (zh) 基于小波分解和自然场景统计的无参考立体图像质量评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN105744256A (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN108520510B (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN110246111B (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
Liu et al. Blind stereoscopic image quality assessment based on hierarchical learning
CN110351548B (zh) 一种深度学习及视差图加权指导的立体图像质量评价方法
CN109510981B (zh) 一种基于多尺度dct变换的立体图像舒适度预测方法
CN110070574A (zh) 一种基于改进PSMNet的双目视觉立体匹配算法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN103914835A (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN109903273B (zh) 一种基于dct域特征的立体图像质量客观评价方法
CN108648186B (zh) 基于初级视觉感知机制的无参考立体图像质量评价方法
CN107578406A (zh) 基于网格与韦泊统计特性的无参考立体图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant