CN102595185B - 一种立体图像质量客观评价方法 - Google Patents

一种立体图像质量客观评价方法 Download PDF

Info

Publication number
CN102595185B
CN102595185B CN201210046292.3A CN201210046292A CN102595185B CN 102595185 B CN102595185 B CN 102595185B CN 201210046292 A CN201210046292 A CN 201210046292A CN 102595185 B CN102595185 B CN 102595185B
Authority
CN
China
Prior art keywords
stereo
picture
designated
image
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210046292.3A
Other languages
English (en)
Other versions
CN102595185A (zh
Inventor
蒋刚毅
周俊明
郁梅
李福翠
彭宗举
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210046292.3A priority Critical patent/CN102595185B/zh
Publication of CN102595185A publication Critical patent/CN102595185A/zh
Priority to US13/775,197 priority patent/US8953873B2/en
Application granted granted Critical
Publication of CN102595185B publication Critical patent/CN102595185B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种立体图像质量客观评价方法，其通过模拟人类视觉***处理立体图像的过程，获得立体图像在人类视觉***中形成的cyclopean图像，该cyclopean图像是由遮挡区域、双目融合区域、双目掩蔽区域三个区域组成，根据图像奇异值表征图像属性具有较强的稳定性，结合人类视觉***处理cyclopean图像中不同区域特点，采用测试立体图像和参考立体图像对应的cyclopean图像之间的奇异值距离来表示测试立体图像对应的cyclopean图像的失真程度，从而最终获得测试立体图像的整体视觉质量，本发明方法能够客观地反映立体图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，与人类视觉***特性相一致。

Description

一种立体图像质量客观评价方法
技术领域
本发明涉及一种立体图像质量评价技术，尤其是涉及一种基于双目融合和双目掩蔽的立体图像质量客观评价方法。
背景技术
随着三维显示技术的逐步发展，立体图像技术在各领域得到了广泛的应用。然而，如何建立有效的符合人类视觉感知的立体图像质量评价方法已成为立体图像处理与压缩领域的一个研究热点。
立体图像质量评价从方法学角度可分为两种方法：主观质量评价方法和客观质量评价方法。主观质量评价方法是通过大量的测试人员对立体图像进行视觉感知质量评价。由于主观质量评价方法操作极为不便并且消耗大量的时间和人力物力，因此立体图像质量评价研究的最终目标是建立一种能够自动地评价并且评价结果与主观质量评价结果一致的客观质量评价模型。
立体图像客观质量评价方法通过对失真信息进行模型化来预测测试立体图像的视觉质量，因此在视频处理领域中起到了十分重要的作用，如用于监控和调整图像质量、优化算法及参数设置、评价***或算法性能等。目前，研究人员提出了多种立体图像客观质量评价方法，其中一类有代表性的方法是直接用平面图像质量评价方法分别对立体图像的左右视点图像进行评价所得结果的平均值作为立体图像质量预测值；而另一类方法是将立体图像质量评价分成两部分：平面失真评价和立体失真评价。第一类方法将立体图像视为由独立存在的左右视点图像组成的集合，完全没有考虑到立体图像所具有的特殊性；而第二类方法在第一类方法的基础上，仅仅利用立体图像的深度或者视差信息来评价立体图像特有的失真质量。显然，这两类方法都是平面图像客观质量评价方法的延伸或改进。与平面图像相比，立体图像不仅仅是多了一个通道，其质量评价至少存在以下几个难点问题：(1)立体图像特有的失真类型如Crosstalk、Cardboard、Keystone等的评价问题；(2)立体图像深度感知信息的表示及其失真评价问题；(3)立体图像左右视点间相互作用问题。目前，以上这些问题尚未得到解决，导致现有的客观质量评价模型的评价结果与立体图像的视觉质量不一致。
发明内容
本发明所要解决的技术问题是提供一种基于双目融合(binocular fusion)和双目掩蔽(binocular suppression)的立体图像质量客观评价方法，其能够客观地反映立体图像受到各种图像处理和压缩方法影响下的视觉质量变化情况，与人类视觉***特性相一致。
本发明解决上述技术问题所采用的技术方案为：一种立体图像质量客观评价方法，其特征在于包括以下步骤：
①定义立体图像客观质量评价中用于参照的原始立体图像为参考立体图像，将参考立体图像的左视点图像记为Il，将参考立体图像的右视点图像记为Ir，将参考立体图像在人类视觉***中形成的cyclopean图像记为C；定义立体图像客观质量评价中用于测试的参考立体图像的失真图像为测试立体图像，将测试立体图像的左视点图像记为
Figure BDA0000138633250000021
将测试立体图像的右视点图像记为
Figure BDA0000138633250000022
将测试立体图像在人类视觉***中形成的cyclopean图像记为
Figure BDA0000138633250000023
其中，参考立体图像的左视点图像Il、参考立体图像的右视点图像Ir、测试立体图像的左视点图像
Figure BDA0000138633250000024
测试立体图像的右视点图像
Figure BDA0000138633250000025
的尺寸大小均为W×H，W表示图像的宽度，H表示图像的高度；
②将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA0000138633250000026
划分为三类区域：第一类区域为遮挡区域，记为
Figure BDA0000138633250000027
该遮挡区域
Figure BDA0000138633250000028
的信息仅存在于左视点和右视点的一个视点中；第二类区域为双目掩蔽区域，记为
Figure BDA0000138633250000029
该双目掩蔽区域
Figure BDA00001386332500000210
的信息为左视点和右视点中图像内容差异较大或视差较大的双目信息；第三类为双目融合区域，记为
Figure BDA00001386332500000211
该双目融合区域
Figure BDA00001386332500000212
的信息为左视点和右视点中图像内容相似且视差较小的双目信息；
③将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000213
分割成互不重叠的大小为k×k的图像块，并将所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，然后根据图像块的类型更新
Figure BDA00001386332500000214
对应得到更新后的遮挡区域
Figure BDA00001386332500000215
更新后的双目掩蔽区域
Figure BDA00001386332500000216
更新后的双目融合区域
Figure BDA00001386332500000217
接着获取参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA0000138633250000031
对应位置的区域Rocc′、与
Figure BDA0000138633250000032
对应位置的区域Rbs′、与
Figure BDA0000138633250000033
对应位置的区域Rbf′，再对
Figure BDA0000138633250000034
的左视点对应区域
Figure BDA0000138633250000035
的右视点对应区域的左视点对应区域
Figure BDA0000138633250000037
的右视点对应区域
Figure BDA0000138633250000038
Rocc′、Rbs′的左视点对应区域
Figure BDA0000138633250000039
Rbs′的右视点对应区域
Figure BDA00001386332500000310
Rbf′的左视点对应区域
Figure BDA00001386332500000311
Rbf′的右视点对应区域
Figure BDA00001386332500000312
中的所有大小为k×k的图像块分别进行奇异值分解，得到各个图像块各自对应的奇异值，其中，k大于1；
④根据
Figure BDA00001386332500000313
与Rocc′中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得的全局失真程度Qocc；根据
Figure BDA00001386332500000315
与
Figure BDA00001386332500000316
中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure BDA00001386332500000317
与
Figure BDA00001386332500000318
中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure BDA00001386332500000319
的全局失真程度Qbs；根据
Figure BDA00001386332500000320
与
Figure BDA00001386332500000321
中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure BDA00001386332500000322
与
Figure BDA00001386332500000323
中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure BDA00001386332500000324
的全局失真程度Qbf；
⑤根据
Figure BDA00001386332500000325
的全局失真程度Qocc、
Figure BDA00001386332500000326
的全局失真程度Qbs和
Figure BDA00001386332500000327
的全局失真程度Qbf，采用线性回归方程，计算测试立体图像的全局失真程度，记为Q，Q＝a×Qocc+b×Qbs+c×Qbf，其中，a，b，c均为系数，a，b，c满足条件： a + b + c = 1 0 ≤ 0 a ≤ 1 0 ≤ b ≤ 1 0 ≤ c ≤ 1 .
所述的步骤②的具体过程为：
②-1、将参考立体图像的左视点图像Il中坐标位置为(x，y)的像素点记为将参考立体图像的右视点图像Ir中坐标位置为(s，t)的像素点记为
Figure BDA00001386332500000330
将测试立体图像的左视点图像
Figure BDA00001386332500000331
中坐标位置为(x，y)的像素点记为
Figure BDA00001386332500000332
将测试立体图像的右视点图像
Figure BDA00001386332500000333
中坐标位置为(s，t)的像素点记为
Figure BDA00001386332500000334
其中，1≤x≤W，1≤y≤H，1≤s≤W，1≤t≤H；
②-2、对参考立体图像进行立体匹配，获得参考立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure BDA0000138633250000041
与
Figure BDA0000138633250000042
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为
Figure BDA0000138633250000043
并将
Figure BDA0000138633250000044
和的水平视差都记为
Figure BDA0000138633250000046
Figure BDA0000138633250000047
将和
Figure BDA0000138633250000049
的垂直视差都记为
Figure BDA00001386332500000410
Figure BDA00001386332500000411
否则，如果参考立体图像的右视点图像Ir中不存在与
Figure BDA00001386332500000412
相匹配的像素点，则将
Figure BDA00001386332500000413
的匹配关系表示为
Figure BDA00001386332500000414
并将
Figure BDA00001386332500000415
的水平视差和垂直视差都确定为255，如果参考立体图像的左视点图像Il中不存在与
Figure BDA00001386332500000416
相匹配的像素点，则将
Figure BDA00001386332500000417
的匹配关系表示为
Figure BDA00001386332500000418
并将
Figure BDA00001386332500000419
的水平视差和垂直视差都确定为255，其中，“| |”为取绝对值符号，“φ”为空集表示符号；
②-3、对测试立体图像进行立体匹配，获得测试立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure BDA00001386332500000420
与
Figure BDA00001386332500000421
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为并将
Figure BDA00001386332500000423
和的水平视差都记为
Figure BDA00001386332500000426
将
Figure BDA00001386332500000427
和
Figure BDA00001386332500000428
的垂直视差记为
Figure BDA00001386332500000430
否则，如果测试立体图像的右视点图像
Figure BDA00001386332500000431
中不存在与
Figure BDA00001386332500000432
相匹配的像素点，则将
Figure BDA00001386332500000433
的匹配关系表示为
Figure BDA00001386332500000434
并将
Figure BDA00001386332500000435
的水平视差和垂直视差都确定为255，如果测试立体图像的左视点图像
Figure BDA00001386332500000436
中不存在与
Figure BDA00001386332500000437
相匹配的像素点，则将的匹配关系表示为
Figure BDA00001386332500000439
将
Figure BDA00001386332500000440
的水平视差和垂直视差都确定为255，其中，“| |”为取绝对值符号，“φ”为空集表示符号；
②-4、将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000441
划分为遮挡区域
Figure BDA00001386332500000442
和匹配区域
Figure BDA00001386332500000443
遮挡区域
Figure BDA00001386332500000444
由左视点遮挡区域和右视点遮挡区域
Figure BDA00001386332500000446
两部分组成，表示为：左视点遮挡区域为测试立体图像的左视点图像中匹配关系为
Figure BDA00001386332500000450
的像素点的集合，表示为：
Figure BDA00001386332500000451
右视点遮挡区域
Figure BDA00001386332500000452
为测试立体图像的右视点图像
Figure BDA00001386332500000453
中匹配关系为
Figure BDA00001386332500000454
的像素点的集合，表示为：
Figure BDA00001386332500000455
匹配区域
Figure BDA00001386332500000456
为测试立体图像的左视点图像
Figure BDA00001386332500000457
和测试立体图像的右视点图像
Figure BDA00001386332500000458
相匹配的像素点的集合，其中，“∪”为集合并运算符号，“∧”为“与”运算符号；
②-5、进一步将匹配区域
Figure BDA0000138633250000051
划分为双目掩蔽区域和双目融合区域
Figure BDA0000138633250000053
双目掩蔽区域为由
Figure BDA0000138633250000055
的左视点对应区域
Figure BDA0000138633250000056
与
Figure BDA0000138633250000057
的右视点对应区域
Figure BDA0000138633250000058
经双目掩蔽得到的合成区域，双目融合区域
Figure BDA0000138633250000059
为由
Figure BDA00001386332500000510
的左视点对应区域
Figure BDA00001386332500000511
与
Figure BDA00001386332500000512
的右视点对应区域
Figure BDA00001386332500000513
经双目融合得到的合成区域，其中，
Figure BDA00001386332500000515
Figure BDA00001386332500000516
Figure BDA00001386332500000517
所述的步骤③的具体过程为：
③-1、将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000518
分割成互不重叠的大小为k×k的图像块，并将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000519
中的所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，具体分类过程为：对于测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000520
中的任意一个图像块，将其记为
Figure BDA00001386332500000521
判断中是否存在属于的像素点，如果
Figure BDA00001386332500000524
中存在属于
Figure BDA00001386332500000525
的像素点，则将
Figure BDA00001386332500000526
标记为遮挡块，如果
Figure BDA00001386332500000527
中不存在属于
Figure BDA00001386332500000528
的像素点，则再判断
Figure BDA00001386332500000529
中是否存在属于
Figure BDA00001386332500000530
的像素点，如果存在，则将
Figure BDA00001386332500000531
标记为双目掩蔽块，否则，将
Figure BDA00001386332500000532
标记为双目融合块，其中，k大于1；
③-2、将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000533
中的所有遮挡块构成的区域作为更新后的遮挡区域，记为
Figure BDA00001386332500000534
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000535
中的所有双目掩蔽块构成的区域作为更新后的双目掩蔽区域，记为
Figure BDA00001386332500000536
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500000537
中的所有双目融合块构成的区域作为更新后的双目融合区域，记为
Figure BDA00001386332500000538
并将更新后的
Figure BDA00001386332500000539
的左视点遮挡区域和
Figure BDA0000138633250000061
的右视点遮挡区域、
Figure BDA0000138633250000062
的左视点对应区域和
Figure BDA0000138633250000063
的右视点对应区域、
Figure BDA0000138633250000064
的左视点对应区域和
Figure BDA0000138633250000065
的右视点对应区域分别记为
Figure BDA0000138633250000066
和
Figure BDA0000138633250000067
和
Figure BDA0000138633250000068
和
③-3、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000610
对应位置的区域记为Rocc′，
Figure BDA00001386332500000611
其中，“∪”为集合并运算符号，
Figure BDA00001386332500000612
为参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000613
对应位置的区域，
Figure BDA00001386332500000614
为参考立体图像在人类视觉***中形成的cyclopean图像C中与对应位置的区域，
Figure BDA00001386332500000617
③-4、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000618
对应位置的区域记为
Figure BDA00001386332500000619
Figure BDA00001386332500000620
将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000621
对应位置的区域记为
Figure BDA00001386332500000622
Figure BDA00001386332500000623
③-5、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000624
对应位置的区域记
Figure BDA00001386332500000625
将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500000627
对应位置的区域记为
Figure BDA00001386332500000628
Figure BDA00001386332500000629
③-6、对
Figure BDA00001386332500000630
Rocc′、
Figure BDA00001386332500000631
中的所有大小为k×k的图像块分别进行奇异值分解，得到Rocc′、
Figure BDA00001386332500000633
中的所有大小为k×k的图像块各自对应的奇异值。
所述的步骤③-1中k＝4。
所述的步骤④的具体过程为：
④-1、计算
Figure BDA00001386332500000634
与Rocc′中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i个遮挡块，将其记为
Figure BDA0000138633250000072
并将Rocc′中与
Figure BDA0000138633250000073
对应位置的第i个遮挡块记为Bi，计算
Figure BDA0000138633250000074
与Bi之间的奇异值距离，记为Docc(i)，
Figure BDA0000138633250000075
然后统计
Figure BDA0000138633250000076
中的所有遮挡块对应的奇异值距离作为的全局失真程度，记为Qocc，
Figure BDA0000138633250000078
其中，1≤i≤Nocc，Nocc表示
Figure BDA0000138633250000079
和Rocc′中的所有遮挡块的个数，sqrt()为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，si，j表示Bi中的第j个奇异值，
Figure BDA00001386332500000710
表示
Figure BDA00001386332500000711
中的第j个奇异值，“||”为取绝对值符号，Docc(m)表示Docc(1)，Docc(2)，…，Docc(Nocc)的中值；
④-2、计算与
Figure BDA00001386332500000713
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA00001386332500000714
中的第i′个双目掩蔽块，将其记为
Figure BDA00001386332500000715
并将中与对应位置的第i′个双目掩蔽块记为计算
Figure BDA00001386332500000719
与
Figure BDA00001386332500000720
之间的奇异值距离，记为
Figure BDA00001386332500000721
Figure BDA00001386332500000722
然后计算
Figure BDA00001386332500000723
与中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA00001386332500000725
中的第i′个双目掩蔽块，将其记为
Figure BDA00001386332500000726
并将
Figure BDA00001386332500000727
中与
Figure BDA00001386332500000728
对应位置的第i′个双目掩蔽块记为
Figure BDA00001386332500000729
计算
Figure BDA00001386332500000730
与
Figure BDA00001386332500000731
之间的奇异值距离，记为
Figure BDA00001386332500000732
Figure BDA00001386332500000733
接着计算
Figure BDA00001386332500000734
中的所有双目掩蔽块的奇异值距离，对于
Figure BDA00001386332500000735
中的第i′个双目掩蔽块，将其记为
Figure BDA00001386332500000736
并将其奇异值距离记为Dbs(i′)，
Figure BDA00001386332500000737
再统计
Figure BDA00001386332500000738
中的所有双目掩蔽块对应的奇异值距离作为
Figure BDA00001386332500000739
的全局失真程度，记为Qbs，
Figure BDA00001386332500000740
其中，1≤i′≤Nbs，Nbs表示
Figure BDA00001386332500000741
或
Figure BDA00001386332500000742
中的所有双目掩蔽块的个数，sqrt()为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，
Figure BDA00001386332500000743
表示
Figure BDA00001386332500000744
中的第j个奇异值，
Figure BDA00001386332500000745
表示
Figure BDA00001386332500000746
中的第j个奇异值，表示
Figure BDA0000138633250000082
中的第j个奇异值，
Figure BDA0000138633250000083
表示
Figure BDA0000138633250000084
中的第j个奇异值，min()为取最小值函数，“||”为取绝对值符号，Dbs(m)表示Dbs(1)，Dbs(2)，…，Dbs(Nbs)的中值；
④-3、计算
Figure BDA0000138633250000085
与中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA0000138633250000087
中的第i″个双目融合块，将其记为
Figure BDA0000138633250000088
并将
Figure BDA0000138633250000089
中与
Figure BDA00001386332500000810
对应位置的第i″个双目融合块记为
Figure BDA00001386332500000811
计算与
Figure BDA00001386332500000813
之间的奇异值距离，记为
Figure BDA00001386332500000814
Figure BDA00001386332500000815
然后计算与
Figure BDA00001386332500000817
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA00001386332500000818
中的第i″个双目融合块，将其记为
Figure BDA00001386332500000819
并将中与对应位置的第i″个双目融合块记为
Figure BDA00001386332500000822
计算
Figure BDA00001386332500000823
与
Figure BDA00001386332500000824
之间的奇异值距离，记为
Figure BDA00001386332500000825
Figure BDA00001386332500000826
接着统计
Figure BDA00001386332500000827
中的所有双目融合块对应的奇异值距离作为
Figure BDA00001386332500000828
的全局失真程度，记为
Figure BDA00001386332500000829
Figure BDA00001386332500000830
并统计
Figure BDA00001386332500000831
中的所有双目融合块对应的奇异值距离作为
Figure BDA00001386332500000832
的全局失真程度，记为
Figure BDA00001386332500000833
Figure BDA00001386332500000834
再根据
Figure BDA00001386332500000835
和
Figure BDA00001386332500000836
计算
Figure BDA00001386332500000837
的全局失真程度，记为Qbf，
Figure BDA00001386332500000838
其中，1≤i″≤Nbf，Nbf表示或
Figure BDA00001386332500000840
中的所有双目融合块的个数，sqrt()为求平方根函数，1≤j≤k，k表示一个图像块中的奇异值的个数，
Figure BDA00001386332500000841
表示中的第j个奇异值，
Figure BDA00001386332500000843
表示
Figure BDA00001386332500000844
中的第j个奇异值，
Figure BDA00001386332500000845
表示
Figure BDA00001386332500000846
中的第j个奇异值，表示
Figure BDA00001386332500000848
中的第j个奇异值，“||”为取绝对值符号，
Figure BDA00001386332500000849
表示的中值，表示
Figure BDA00001386332500000852
的中值。
所述的步骤⑤中a＝0，b＝0.5，c＝0.5。
与现有技术相比，本发明的优点在于通过模拟人类视觉***处理立体图像的过程，获得立体图像在人类视觉***中形成的cyclopean图像，该cyclopean图像是由遮挡区域、双目融合区域、双目掩蔽区域三个区域组成，根据图像奇异值表征图像属性具有较强的稳定性，结合人类视觉***处理cyclopean图像中不同区域特点，采用测试立体图像和参考立体图像对应的cyclopean图像之间的奇异值距离来表示测试立体图像对应的cyclopean图像的失真程度，从而最终获得测试立体图像的整体视觉质量，本发明方法能够客观地反映立体图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法的评价性能不受立体图像内容和失真类型的影响，与人眼的主观感知一致。
附图说明
图1为人类视觉***中双目融合与双目掩蔽处理过程；
图2为本发明方法的流程框图；
图3为Akko & Kayo区域划分结果示意图；
图4为本发明方法中所采用的测试立体图像；
图5为主观评价结果与本发明方法的评价结果之间的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
人类视觉生理学研究表明，人的双眼间距大约为60～65mm，这个间距使得双眼在观看某一场景时所处位置和角度稍有不同，从而导致场景在双眼视网膜的成像稍有差异。然而，实际上人们在正常视力下观看场景时并不会出现两个场景成像重叠在一起的感觉，在人脑中形成的是一幅具有立体感的cyclopean图像(即“独眼”图像)，这个现象是由人类视觉***中双目融合(binocular fusion)和/或双目掩蔽(binocular suppression)处理的结果。在人类视觉***中，由于Panum区的存在，左右眼视网膜对应区域并不需要精确地落入相同位置上，允许存在微小视差，双目融合即可发生。但如果左右眼视网膜对应区域的图像内容差异较大或者两者之间视差较大时，则人类视觉***无法对两眼的冲突信息进行双目融合处理，此时将出现复视(diplopia)或双目视觉混淆现象(binocular visual confusion)，随即进入双目竞争(binocular rivalry)状态，然而，正常的人类视觉***无法长时间容忍这种状态，最终将转至双眼掩蔽处理。双目掩蔽处理可能出现两种情况：当左右眼视网膜对应区域的图像内容差异较大时，左右眼视网膜图像信息将间歇***替掩蔽对方，即在该区域将间歇交替地显示左右眼视网膜中一眼的图像信息；如果左右眼视网膜对应区域的图像内容比较接近但是两者之间视差较大时，则在该区域将由左右眼视网膜中的一眼信息持久地掩蔽另一只眼的信息，通常是由图像轮廓更清晰的一眼掩蔽另一眼。人类视觉***中双目融合和双目掩蔽处理过程如图1所示。
本发明方法根据人类视觉***中双目立体视觉特性，提出了一种基于双目融合和双目掩蔽的立体图像客观质量评价方法，该立体图像客观质量评价方法首先模拟立体图像在人类视觉***中的处理过程获得立体图像在大脑中形成的cyclopean图像，通过对cyclopean图像进行数学建模，采用全参考质量评价方法对该cyclopean图像的失真程度进行评价，最终得到立体图像的整体视觉质量。
本发明的一种基于双目融合和双目掩蔽的立体图像客观质量评价方法，其总体流程框图如图2所示，其包括以下步骤：
①定义立体图像客观质量评价中用于参照的原始立体图像为参考立体图像，将参考立体图像的左视点图像记为Il，将参考立体图像的右视点图像记为Ir，将参考立体图像在人类视觉***中形成的cyclopean图像记为C；定义立体图像客观质量评价中用于测试的参考立体图像经失真处理后得到的失真图像为测试立体图像，将测试立体图像的左视点图像记为
Figure BDA0000138633250000101
将测试立体图像的右视点图像记为
Figure BDA0000138633250000102
将测试立体图像在人类视觉***中形成的cyclopean图像记为其中，参考立体图像的左视点图像Il、参考立体图像的右视点图像Ir、测试立体图像的左视点图像
Figure BDA0000138633250000104
测试立体图像的右视点图像
Figure BDA0000138633250000105
的尺寸大小均为W×H，W表示图像的宽度，H表示图像的高度。
②根据人类视觉***处理立体图像的特点，将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA0000138633250000106
划分为三类区域：第一类区域为遮挡区域，记为
Figure BDA0000138633250000107
该遮挡区域的信息仅存在于左视点和右视点的一个视点中；第二类区域为双目掩蔽区域，记为
Figure BDA0000138633250000109
该双目掩蔽区域
Figure BDA00001386332500001010
的信息为左视点和右视点中图像内容差异较大或视差较大的双目信息，即该双目掩蔽区域
Figure BDA00001386332500001011
为左右视点中图像内容差异较大或视差较大的区域经过人类视觉***中双目掩蔽处理所形成的双目掩蔽区域；第三类为双目融合区域，记为
Figure BDA00001386332500001012
该双目融合区域
Figure BDA00001386332500001013
的信息为左视点和右视点中图像内容相似且视差较小的双目信息，即该双目融合区域
Figure BDA00001386332500001014
为左右视点中图像内容相似且视差较小的区域经过人类视觉***中双目融合处理所形成的双目融合区域。
在此具体实施例中，步骤②的具体过程为：
②-1、将参考立体图像的左视点图像Il中坐标位置为(x，y)的像素点记为
Figure BDA0000138633250000111
将参考立体图像的右视点图像Ir中坐标位置为(s，t)的像素点记为
Figure BDA0000138633250000112
将测试立体图像的左视点图像
Figure BDA0000138633250000113
中坐标位置为(x，y)的像素点记为
Figure BDA0000138633250000114
将测试立体图像的右视点图像
Figure BDA0000138633250000115
中坐标位置为(s，t)的像素点记为其中，1≤x≤W，1≤y≤H，1≤s≤W，1≤t≤H。
②-2、对参考立体图像进行立体匹配，获得参考立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure BDA0000138633250000117
与
Figure BDA0000138633250000118
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为
Figure BDA0000138633250000119
并将
Figure BDA00001386332500001110
和
Figure BDA00001386332500001111
的水平视差都记为
Figure BDA00001386332500001112
Figure BDA00001386332500001113
将
Figure BDA00001386332500001114
和的垂直视差都记为
Figure BDA00001386332500001116
Figure BDA00001386332500001117
否则，如果参考立体图像的右视点图像Ir中不存在与
Figure BDA00001386332500001118
相匹配的像素点，则将
Figure BDA00001386332500001119
的匹配关系表示为并将的水平视差和垂直视差都确定为255，如果参考立体图像的左视点图像Il中不存在与
Figure BDA00001386332500001122
相匹配的像素点，则将
Figure BDA00001386332500001123
的匹配关系表示为
Figure BDA00001386332500001124
并将
Figure BDA00001386332500001125
的水平视差和垂直视差都确定为255，其中，“||”为取绝对值符号，“φ”为空集表示符号。
②-3、对测试立体图像进行立体匹配，获得测试立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure BDA00001386332500001126
与
Figure BDA00001386332500001127
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为
Figure BDA00001386332500001128
并将
Figure BDA00001386332500001129
和
Figure BDA00001386332500001130
的水平视差都记为
Figure BDA00001386332500001132
将
Figure BDA00001386332500001133
和
Figure BDA00001386332500001134
的垂直视差记为
Figure BDA00001386332500001135
Figure BDA00001386332500001136
否则，如果测试立体图像的右视点图像
Figure BDA00001386332500001137
中不存在与
Figure BDA00001386332500001138
相匹配的像素点，则将
Figure BDA00001386332500001139
的匹配关系表示为
Figure BDA00001386332500001140
并将
Figure BDA00001386332500001141
的水平视差和垂直视差都确定为255，如果测试立体图像的左视点图像
Figure BDA00001386332500001142
中不存在与
Figure BDA00001386332500001143
相匹配的像素点，则将
Figure BDA00001386332500001144
的匹配关系表示为
Figure BDA00001386332500001145
将的水平视差和垂直视差都确定为255，其中，“||”为取绝对值符号，“φ”为空集表示符号。
②-4、经过立体匹配后，根据人类视觉***处理立体图像的特点，将测试立体图像在人类视觉***中形成的cyclopean图像划分为遮挡区域
Figure BDA00001386332500001148
和匹配区域
Figure BDA00001386332500001149
遮挡区域
Figure BDA0000138633250000121
为测试立体图像的左视点图像
Figure BDA0000138633250000122
和右视点图像
Figure BDA0000138633250000123
中匹配不成功的像素点的集合，遮挡区域
Figure BDA0000138633250000124
由左视点遮挡区域
Figure BDA0000138633250000125
和右视点遮挡区域
Figure BDA0000138633250000126
两部分组成，表示为：左视点遮挡区域为测试立体图像的左视点图像
Figure BDA0000138633250000129
中匹配关系为
Figure BDA00001386332500001210
的像素点的集合，表示为：
Figure BDA00001386332500001211
右视点遮挡区域
Figure BDA00001386332500001212
为测试立体图像的右视点图像
Figure BDA00001386332500001213
中匹配关系为
Figure BDA00001386332500001214
的像素点的集合，表示为：
Figure BDA00001386332500001215
匹配区域
Figure BDA00001386332500001216
为测试立体图像的左视点图像
Figure BDA00001386332500001217
和测试立体图像的右视点图像
Figure BDA00001386332500001218
相匹配的像素点的集合，其中，“∪”为集合并运算符号，“∧”为“与”运算符号。
②-5、进一步将匹配区域
Figure BDA00001386332500001219
划分为双目掩蔽区域
Figure BDA00001386332500001220
和双目融合区域
Figure BDA00001386332500001221
双目掩蔽区域
Figure BDA00001386332500001222
是原始立体图像在失真过程中左右视点间视差变大的区域，双目掩蔽区域为由
Figure BDA00001386332500001224
的左视点对应区域
Figure BDA00001386332500001225
与
Figure BDA00001386332500001226
的右视点对应区域
Figure BDA00001386332500001227
经双目掩蔽得到的合成区域，即
Figure BDA00001386332500001228
双目融合区域
Figure BDA00001386332500001229
是原始立体图像在失真过程中左右视点视差不变或者变小的区域，双目融合区域
Figure BDA00001386332500001230
为由
Figure BDA00001386332500001231
的左视点对应区域
Figure BDA00001386332500001232
与
Figure BDA00001386332500001233
的右视点对应区域
Figure BDA00001386332500001234
经双目融合得到的合成区域，即
Figure BDA00001386332500001235
其中，
Figure BDA00001386332500001236
Figure BDA00001386332500001237
Figure BDA00001386332500001238
Figure BDA00001386332500001239
Sup表示人类视觉***对双目掩蔽区域处理方法，是由质量较好视点的图像信息抑制质量较差视点所对应的图像信息，Fus表示人类视觉***中双目融合和双目叠加的处理方法。
图3给出了Akko & Kayo参考立体图像及其左右视点图像受到相同高斯模糊处理后所得的测试立体图像(左视点图像PSNR(峰值信噪比)为24.450db；右视点图像PSNR为23.862db)的区域划分过程。
在此，对参考立体图像和测试立体图像进行立体匹配时，采用康奈尔大学提供的基于像素级的匹配软件match v3.3对立体图像进行立体匹配。
③将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA0000138633250000131
分割成互不重叠的大小为k×k的图像块，并将所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，然后根据图像块的类型更新
Figure BDA0000138633250000132
对应得到更新后的遮挡区域
Figure BDA0000138633250000133
更新后的双目掩蔽区域
Figure BDA0000138633250000134
更新后的双目融合区域
Figure BDA0000138633250000135
接着获取参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA0000138633250000136
对应位置的区域Rocc′、与
Figure BDA0000138633250000137
对应位置的区域Rbs′、与
Figure BDA0000138633250000138
对应位置的区域Rbf′，再对
Figure BDA0000138633250000139
的左视点对应区域
Figure BDA00001386332500001310
的右视点对应区域
Figure BDA00001386332500001311
的左视点对应区域
Figure BDA00001386332500001312
的右视点对应区域
Figure BDA00001386332500001313
Rocc′、Rbs′的左视点对应区域
Figure BDA00001386332500001314
Rbs′的右视点对应区域
Figure BDA00001386332500001315
Rbf′的左视点对应区域Rbf′的右视点对应区域
Figure BDA00001386332500001317
中的所有大小为k×k的图像块分别进行奇异值分解，得到各个图像块各自对应的奇异值，其中，k大于1。
在此具体实施例中，步骤③的具体过程为：
③-1、将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500001318
分割成互不重叠的大小为k×k的图像块，并将测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500001319
中的所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，具体分类过程为：对于测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500001320
中的任意一个图像块，将其记为
Figure BDA00001386332500001321
判断
Figure BDA00001386332500001322
中是否存在属于
Figure BDA00001386332500001323
的像素点，如果
Figure BDA00001386332500001324
中存在属于
Figure BDA00001386332500001325
的像素点，则将
Figure BDA00001386332500001326
标记为遮挡块，如果
Figure BDA00001386332500001327
中不存在属于
Figure BDA00001386332500001328
的像素点，则再判断中是否存在属于
Figure BDA00001386332500001330
的像素点，如果存在，则将
Figure BDA00001386332500001331
标记为双目掩蔽块，否则，将
Figure BDA00001386332500001332
标记为双目融合块，其中，k大于1，在此取k＝4。
③-2、将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500001333
中的所有遮挡块构成的区域作为更新后的遮挡区域，记为
Figure BDA00001386332500001334
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA00001386332500001335
中的所有双目掩蔽块构成的区域作为更新后的双目掩蔽区域，记为
Figure BDA0000138633250000141
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure BDA0000138633250000142
中的所有双目融合块构成的区域作为更新后的双目融合区域，记为
Figure BDA0000138633250000143
并将更新后的
Figure BDA0000138633250000144
的左视点遮挡区域和
Figure BDA0000138633250000145
的右视点遮挡区域、的左视点对应区域和
Figure BDA0000138633250000147
的右视点对应区域、
Figure BDA0000138633250000148
的左视点对应区域和
Figure BDA0000138633250000149
的右视点对应区域分别记为
Figure BDA00001386332500001410
和
Figure BDA00001386332500001411
和
Figure BDA00001386332500001412
和
Figure BDA00001386332500001413
③-3、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001414
对应位置的区域记为Rocc′，
Figure BDA00001386332500001415
其中，“∪”为集合并运算符号，为参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001417
对应位置的区域，
Figure BDA00001386332500001418
Figure BDA00001386332500001419
为参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001420
对应位置的区域，
Figure BDA00001386332500001421
③-4、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001422
对应位置的区域记为
Figure BDA00001386332500001423
Figure BDA00001386332500001424
将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001425
对应位置的区域记为
Figure BDA00001386332500001426
Figure BDA00001386332500001427
③-5、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001428
对应位置的区域记
Figure BDA00001386332500001429
Figure BDA00001386332500001430
将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure BDA00001386332500001431
对应位置的区域记为
Figure BDA00001386332500001432
③-6、对
Figure BDA00001386332500001434
Rocc′、
Figure BDA00001386332500001435
中的所有大小为k×k的图像块分别进行奇异值分解，得到Rocc′、
Figure BDA00001386332500001437
中的所有大小为k×k的图像块各自对应的奇异值。在此，奇异值分解的方法为对于大小为k×k的图像块，可以用矩阵G表示，通过奇异值分解可以表示为G＝USVT，其中U和V为正交矩阵，S为对角矩阵，即S＝diag(s1，s2，...，sk)，S的所有对角元素称为G的奇异值。
④根据
Figure BDA0000138633250000151
与Rocc′中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure BDA0000138633250000152
的全局失真程度Qocc；根据与
Figure BDA0000138633250000154
中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure BDA0000138633250000155
与
Figure BDA0000138633250000156
中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure BDA0000138633250000157
的全局失真程度Qbs；根据
Figure BDA0000138633250000158
与
Figure BDA0000138633250000159
中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure BDA00001386332500001510
与
Figure BDA00001386332500001511
中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure BDA00001386332500001512
的全局失真程度Qbf。
在此具体实施例中，步骤④的具体过程为：
④-1、计算
Figure BDA00001386332500001513
与Rocc′中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA00001386332500001514
中的第i个遮挡块，将其记为
Figure BDA00001386332500001515
并将Rocc′中与对应位置的第i个遮挡块记为Bi，计算
Figure BDA00001386332500001517
与Bi之间的奇异值距离，记为Docc(i)，
Figure BDA00001386332500001518
然后统计
Figure BDA00001386332500001519
中的所有遮挡块对应的奇异值距离作为
Figure BDA00001386332500001520
的全局失真程度，记为Qocc，
Figure BDA00001386332500001521
其中，1≤i≤Nocc，Nocc表示
Figure BDA00001386332500001522
和Rocc′中的所有遮挡块的个数，sqrt( )为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，si，j表示Bi中的第j个奇异值，
Figure BDA00001386332500001523
表示
Figure BDA00001386332500001524
中的第j个奇异值，“||”为取绝对值符号，Docc(m)表示Docc(1)，Docc(2)，…，Docc(Nocc)的中值。
④-2、计算
Figure BDA00001386332500001525
与
Figure BDA00001386332500001526
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i′个双目掩蔽块，将其记为
Figure BDA00001386332500001528
并将
Figure BDA00001386332500001529
中与
Figure BDA00001386332500001530
对应位置的第i′个双目掩蔽块记为
Figure BDA00001386332500001531
计算
Figure BDA00001386332500001532
与
Figure BDA00001386332500001533
之间的奇异值距离，记为
Figure BDA00001386332500001535
然后计算
Figure BDA00001386332500001536
与
Figure BDA00001386332500001537
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA0000138633250000161
中的第i′个双目掩蔽块，将其记为
Figure BDA0000138633250000162
并将
Figure BDA0000138633250000163
中与
Figure BDA0000138633250000164
对应位置的第i′个双目掩蔽块记为计算
Figure BDA0000138633250000166
与
Figure BDA0000138633250000167
之间的奇异值距离，记为
Figure BDA0000138633250000168
Figure BDA0000138633250000169
接着计算中的所有双目掩蔽块的奇异值距离，对于
Figure BDA00001386332500001611
中的第i′个双目掩蔽块，将其记为
Figure BDA00001386332500001612
并将其奇异值距离记为Dbs(i′)，由于人类视觉***处理双目掩蔽区域时是由轮廓更清晰的视点图像信息掩蔽另一个视点对应信息，而失真图像与原始图像之间的奇异值距离是表示图像失真程度，即奇异值距离越大，图像失真越严重，因此
Figure BDA00001386332500001613
的奇异值距离Dbs(i′)是由
Figure BDA00001386332500001614
与
Figure BDA00001386332500001615
两者值较小者决定，即
Figure BDA00001386332500001616
再统计
Figure BDA00001386332500001617
中的所有双目掩蔽块对应的奇异值距离作为
Figure BDA00001386332500001618
的全局失真程度，记为Qbs，
Figure BDA00001386332500001619
其中，1≤i′≤Nbs，Nbs表示或
Figure BDA00001386332500001621
中的所有双目掩蔽块的个数，sqrt( )为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，
Figure BDA00001386332500001622
表示
Figure BDA00001386332500001623
中的第j个奇异值，
Figure BDA00001386332500001624
表示
Figure BDA00001386332500001625
中的第j个奇异值，
Figure BDA00001386332500001626
表示
Figure BDA00001386332500001627
中的第j个奇异值，表示中的第j个奇异值，min( )为取最小值函数，“||”为取绝对值符号，Dbs(m)表示Dbs(1)，Dbs(2)，…，Dbs(Nbs)的中值。
④-3、计算与中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i″个双目融合块，将其记为并将
Figure BDA00001386332500001634
中与
Figure BDA00001386332500001635
对应位置的第i″个双目融合块记为
Figure BDA00001386332500001636
计算
Figure BDA00001386332500001637
与
Figure BDA00001386332500001638
之间的奇异值距离，记为
Figure BDA00001386332500001639
Figure BDA00001386332500001640
然后计算与
Figure BDA00001386332500001642
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure BDA00001386332500001643
中的第i″个双目融合块，将其记为并将
Figure BDA00001386332500001645
中与
Figure BDA00001386332500001646
对应位置的第i″个双目融合块记为
Figure BDA00001386332500001647
计算
Figure BDA00001386332500001648
与
Figure BDA00001386332500001649
之间的奇异值距离，记为
Figure BDA00001386332500001650
Figure BDA00001386332500001651
接着统计
Figure BDA00001386332500001652
中的所有双目融合块对应的奇异值距离作为
Figure BDA0000138633250000171
的全局失真程度，记为
Figure BDA0000138633250000172
Figure BDA0000138633250000173
并统计
Figure BDA0000138633250000174
中的所有双目融合块对应的奇异值距离作为的全局失真程度，记为
Figure BDA0000138633250000176
Figure BDA0000138633250000177
再根据人类视觉***中双目叠加作用特点可知，双眼对图像失真敏感度是单眼的1.4倍，从而根据
Figure BDA0000138633250000178
和计算
Figure BDA00001386332500001710
的全局失真程度，记为Qbf，
Figure BDA00001386332500001711
其中，1≤i″≤Nbf，Nbf表示
Figure BDA00001386332500001712
或
Figure BDA00001386332500001713
中的所有双目融合块的个数，sqrt()为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，
Figure BDA00001386332500001714
表示
Figure BDA00001386332500001715
中的第j个奇异值，
Figure BDA00001386332500001716
表示
Figure BDA00001386332500001717
中的第j个奇异值，
Figure BDA00001386332500001718
表示
Figure BDA00001386332500001719
中的第j个奇异值，
Figure BDA00001386332500001720
表示
Figure BDA00001386332500001721
中的第j个奇异值，“||”为取绝对值符号，
Figure BDA00001386332500001722
表示的中值，
Figure BDA00001386332500001724
表示
Figure BDA00001386332500001725
的中值。
⑤测试立体图像的视觉质量受
Figure BDA00001386332500001726
三部分区域失真的影响，由于这三部分区域失真是相互独立的，因此本发明按照
Figure BDA00001386332500001727
三个区域对测试立体图像整体视觉质量的贡献情况，将这三部分区域对应的全局失真程度Qocc、Qbs、Qbf综合在一起，从而得到测试立体图像的全局失真程度Q作为测试立体图像的视觉质量，即根据
Figure BDA00001386332500001728
的全局失真程度Qocc、
Figure BDA00001386332500001729
的全局失真程度Qbs和的全局失真程度Qbf，采用线性回归方程，计算测试立体图像的全局失真程度，记为Q，Q＝a×Qocc+b×Qbs+c×Qbf，其中，a，b，c均为线性回归方程的系数，a，b，c满足条件： a + b + c = 1 0 ≤ 0 a ≤ 1 0 ≤ b ≤ 1 0 ≤ c ≤ 1 . 在此，取a＝0，b＝0.5，c＝0.5
采用从Mobile3DTV提供的测试序列中挑选出的9幅高清彩色立体图像及其对应的失真立体图像作为立体图像测试库，来衡量本发明方法与人类主观视觉感知的一致性。该立体图像测试库包括9幅高清彩色立体图像(如图4所示)，以及这9幅高清彩色立体图像对应在高斯模糊下5个失真等级、高斯白噪声下5个失真等级、JPEG压缩下5个失真等级、JPEG 2000压缩下5个失真等级、H.264压缩下6个失真等级的一共234幅失真立体图像作为测试立体图像。
图5为234幅测试立体图像的主观评价结果DMOS与本发明方法经过非线性处理后的预测值DMOSp之间的散点图。图5中数据点在直线y＝x附近的密集度越高，说明本发明方法与主观评价结果之间的一致性越好。为了更好地说明本发明方法的评价性能，在此按照VQEG(视频质量专家组)对客观质量评价方法的检验标准用以下四个性能指标进行评价：
(1)线性相关系数(CC)：用Pearson线性相关系数来反映客观评价模型预测的精确性。
(2)均方根误差(RMSE)：除了Pearson相关系数外，还经常用均方根误差RMSE来对客观模型的准确性进行度量。
(3)Spearman等级相关系数(SROCC)：用Spearman等级相关系数来衡量客观模型的单调性。
(4)异常值比率指标(OR)：该指标主要反映客观模型的离散程度。
表1列出了本发明方法的4种性能指标的评价结果。从表1中所列的数据可知，本发明方法的评价结果的准确性、单调性、一致性都非常好，能够很好地预测人类对立体图像的主观感知。
表1本发明方法的性能指标的评价结果
  Gblur   JPEG   JP2K   Wn   H264   All data
  Pearson相关系数(CC)   0.965   0.949   0.928   0.968   0.964   0.938
  Spearman等级相关系数(SROCC)   0.952   0.950   0.934   0.941   0.957   0.939
  均方根误差(RMSE)   5.209   4.388   4.169   3.764   3.230   5.606
  异常值比率(OR)   0   0   0   0   0   0

Claims (5)

1.一种立体图像质量客观评价方法，其特征在于包括以下步骤：
①定义立体图像客观质量评价中用于参照的原始立体图像为参考立体图像，将参考立体图像的左视点图像记为Il，将参考立体图像的右视点图像记为Ir，将参考立体图像在人类视觉***中形成的cyclopean图像记为C；定义立体图像客观质量评价中用于测试的参考立体图像的失真图像为测试立体图像，将测试立体图像的左视点图像记为
Figure FDA0000457228500000011
将测试立体图像的右视点图像记为
Figure FDA0000457228500000012
将测试立体图像在人类视觉***中形成的cyclopean图像记为
Figure FDA0000457228500000013
其中，参考立体图像的左视点图像Il、参考立体图像的右视点图像Ir、测试立体图像的左视点图像
Figure FDA0000457228500000014
测试立体图像的右视点图像
Figure FDA0000457228500000015
的尺寸大小均为W×H，W表示图像的宽度，H表示图像的高度；
②将测试立体图像在人类视觉***中形成的cyclopean图像划分为三类区域：第一类区域为遮挡区域，记为
Figure FDA0000457228500000017
该遮挡区域
Figure FDA0000457228500000018
的信息仅存在于左视点和右视点的一个视点中；第二类区域为双目掩蔽区域，记为
Figure FDA0000457228500000019
第三类为双目融合区域，记为
Figure FDA00004572285000000110
所述的步骤②的具体过程为：
②-1、将参考立体图像的左视点图像Il中坐标位置为(x,y)的像素点记为
Figure FDA00004572285000000111
将参考立体图像的右视点图像Ir中坐标位置为(s,t)的像素点记为
Figure FDA00004572285000000112
将测试立体图像的左视点图像
Figure FDA00004572285000000113
中坐标位置为(x,y)的像素点记为
Figure FDA00004572285000000114
将测试立体图像的右视点图像
Figure FDA00004572285000000115
中坐标位置为(s,t)的像素点记为
Figure FDA00004572285000000116
其中，1≤x≤W，1≤y≤H，1≤s≤W，1≤t≤H；
②-2、对参考立体图像进行立体匹配，获得参考立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure FDA00004572285000000117
与
Figure FDA00004572285000000118
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为
Figure FDA00004572285000000119
并将
Figure FDA00004572285000000120
和
Figure FDA00004572285000000121
的水平视差都记为
Figure FDA00004572285000000122
将
Figure FDA00004572285000000123
和
Figure FDA00004572285000000124
的垂直视差都记为
Figure FDA00004572285000000125
Figure FDA00004572285000000126
否则，如果参考立体图像的右视点图像Ir中不存在与
Figure FDA00004572285000000127
相匹配的像素点，则将
Figure FDA00004572285000000128
的匹配关系表示为
Figure FDA00004572285000000129
并将
Figure FDA00004572285000000130
的水平视差和垂直视差都确定为255，如果参考立体图像的左视点图像Il中不存在与
Figure FDA0000457228500000021
相匹配的像素点，则将
Figure FDA0000457228500000022
的匹配关系表示为
Figure FDA0000457228500000023
并将
Figure FDA0000457228500000024
的水平视差和垂直视差都确定为255，其中，“||”为取绝对值符号，“φ”为空集表示符号；
②-3、对测试立体图像进行立体匹配，获得测试立体图像中的各个像素点的水平视差和垂直视差，具体过程为：判断
Figure FDA0000457228500000025
与
Figure FDA0000457228500000026
是否相匹配，如果两者相匹配，则将两者的匹配关系表示为
Figure FDA0000457228500000027
并将和
Figure FDA0000457228500000029
的水平视差都记为
Figure FDA00004572285000000210
将
Figure FDA00004572285000000211
和
Figure FDA00004572285000000212
的垂直视差记为
Figure FDA00004572285000000213
否则，如果测试立体图像的右视点图像
Figure FDA00004572285000000214
中不存在与
Figure FDA00004572285000000215
相匹配的像素点，则将
Figure FDA00004572285000000216
的匹配关系表示为
Figure FDA00004572285000000217
并将
Figure FDA00004572285000000218
的水平视差和垂直视差都确定为255，如果测试立体图像的左视点图像
Figure FDA00004572285000000219
中不存在与相匹配的像素点，则将
Figure FDA00004572285000000221
的匹配关系表示为
Figure FDA00004572285000000222
将
Figure FDA00004572285000000223
的水平视差和垂直视差都确定为255，其中，“||”为取绝对值符号，“φ”为空集表示符号；
②-4、将测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA00004572285000000224
划分为遮挡区域
Figure FDA00004572285000000225
和匹配区域
Figure FDA00004572285000000226
遮挡区域
Figure FDA00004572285000000227
由左视点遮挡区域
Figure FDA00004572285000000228
和右视点遮挡区域
Figure FDA00004572285000000229
两部分组成，表示为：
Figure FDA00004572285000000230
左视点遮挡区域为测试立体图像的左视点图像
Figure FDA00004572285000000232
中匹配关系为
Figure FDA00004572285000000233
的像素点的集合，表示为：
Figure FDA00004572285000000234
右视点遮挡区域为测试立体图像的右视点图像
Figure FDA00004572285000000236
中匹配关系为
Figure FDA00004572285000000237
的像素点的集合，表示为：
Figure FDA00004572285000000238
匹配区域为测试立体图像的左视点图像
Figure FDA00004572285000000240
和测试立体图像的右视点图像
Figure FDA00004572285000000241
相匹配的像素点的集合，其中，“∪”为集合并运算符号，“∧”为“与”运算符号；
②-5、进一步将匹配区域
Figure FDA00004572285000000242
划分为双目掩蔽区域
Figure FDA00004572285000000243
和双目融合区域
Figure FDA00004572285000000244
双目掩蔽区域
Figure FDA00004572285000000245
为由
Figure FDA00004572285000000246
的左视点对应区域
Figure FDA00004572285000000247
与
Figure FDA00004572285000000248
的右视点对应区域
Figure FDA00004572285000000249
经双目掩蔽得到的合成区域，双目融合区域
Figure FDA00004572285000000250
为由
Figure FDA00004572285000000251
的左视点对应区域
Figure FDA00004572285000000252
与
Figure FDA00004572285000000253
的右视点对应区域经双目融合得到的合成区域，其中，
R ^ bs l = { p ^ x , y l | p ^ x , y l ∈ I ^ l ^ p ^ s , t r ∈ I ^ r ^ ( p ^ x , y l , p ^ s , t r ) ^ | d ^ x , y h | + | d ^ x , y v | > | d x , y h | + | d x , y v | } ,
R ^ bs r = { p ^ s , t r | p ^ x , y l ∈ I ^ l ^ p ^ s , t r ∈ I ^ r ( p ^ x , y l , p ^ x , t r ) ^ | d ^ x , y h | + | d ^ x , y v | > | d x , y h | + | d x , y v | } ,
R ^ bf l = { p ^ x , y l | p ^ x , y l ∈ I ^ l ^ p ^ s , t r ∈ I ^ r ^ ( p ^ x , y l , p ^ x , t r ) ^ | d ^ x , y h | + | d ^ x , y v | ≤ | d x , y h | + | d x , y v | } ,
R ^ bf r = { p ^ x , t r | p ^ x , y l ∈ I ^ l ^ p ^ x , t r ∈ I ^ r ^ ( p ^ x , y l , p ^ s , t r ) ^ | d ^ x , y h | + | d ^ x , y v | ≤ | d x , y h | + | d x , y v | } ;
③将测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA0000457228500000035
分割成互不重叠的大小为k×k的图像块，并将所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，然后根据图像块的类型更新
Figure FDA0000457228500000036
Figure FDA0000457228500000037
Figure FDA0000457228500000038
对应得到更新后的遮挡区域
Figure FDA0000457228500000039
更新后的双目掩蔽区域
Figure FDA00004572285000000310
更新后的双目融合区域
Figure FDA00004572285000000311
接着获取参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA00004572285000000312
对应位置的区域Rocc'、与
Figure FDA00004572285000000313
对应位置的区域Rbs'、与
Figure FDA00004572285000000314
对应位置的区域Rbf'，再对
Figure FDA00004572285000000316
的左视点对应区域
Figure FDA00004572285000000317
的右视点对应区域
Figure FDA00004572285000000319
Figure FDA00004572285000000320
的左视点对应区域
Figure FDA00004572285000000321
Figure FDA00004572285000000322
的右视点对应区域
Figure FDA00004572285000000323
Rocc'、Rbs'的左视点对应区域
Figure FDA00004572285000000324
Rbs'的右视点对应区域
Figure FDA00004572285000000325
Rbf'的左视点对应区域
Figure FDA00004572285000000326
Rbf'的右视点对应区域
Figure FDA00004572285000000327
中的所有大小为k×k的图像块分别进行奇异值分解，得到各个图像块各自对应的奇异值，其中，k大于1；
④根据与Rocc'中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure FDA00004572285000000329
的全局失真程度Qocc；根据
Figure FDA00004572285000000330
与中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure FDA00004572285000000332
与
Figure FDA00004572285000000333
中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure FDA00004572285000000334
的全局失真程度Qbs；根据
Figure FDA00004572285000000335
与
Figure FDA00004572285000000336
中所有对应位置的大小为k×k的图像块之间的奇异值距离及
Figure FDA00004572285000000337
与中所有对应位置的大小为k×k的图像块之间的奇异值距离，获得
Figure FDA00004572285000000339
的全局失真程度Qbf；
⑤根据的全局失真程度Qocc、
Figure FDA00004572285000000341
的全局失真程度Qbs和的全局失真程度Qbf，采用线性回归方程，计算测试立体图像的全局失真程度，记为Q，Q=a×Qocc+b×Qbs+c×Qbf，其中，a,b,c均为系数，a,b,c满足条件： a + b + c = 1 0 ≤ a ≤ 1 0 ≤ b ≤ 1 0 ≤ c ≤ 1 .
2.根据权利要求1所述的一种立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为：
③-1、将测试立体图像在人类视觉***中形成的cyclopean图像分割成互不重叠的大小为k×k的图像块，并将测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA0000457228500000043
中的所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，具体分类过程为：对于测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA0000457228500000044
中的任意一个图像块，将其记为判断
Figure FDA0000457228500000046
中是否存在属于
Figure FDA0000457228500000047
的像素点，如果中存在属于
Figure FDA0000457228500000049
的像素点，则将
Figure FDA00004572285000000410
标记为遮挡块，如果
Figure FDA00004572285000000411
中不存在属于
Figure FDA00004572285000000412
的像素点，则再判断
Figure FDA00004572285000000413
中是否存在属于
Figure FDA00004572285000000414
的像素点，如果存在，则将标记为双目掩蔽块，否则，将
Figure FDA00004572285000000416
标记为双目融合块，其中，k大于1；
③-2、将由测试立体图像在人类视觉***中形成的cyclopean图像中的所有遮挡块构成的区域作为更新后的遮挡区域，记为
Figure FDA00004572285000000418
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA00004572285000000419
中的所有双目掩蔽块构成的区域作为更新后的双目掩蔽区域，记为
Figure FDA00004572285000000420
将由测试立体图像在人类视觉***中形成的cyclopean图像
Figure FDA00004572285000000421
中的所有双目融合块构成的区域作为更新后的双目融合区域，记为
Figure FDA00004572285000000422
并将更新后的
Figure FDA00004572285000000423
的左视点遮挡区域和
Figure FDA00004572285000000424
的右视点遮挡区域、
Figure FDA00004572285000000425
的左视点对应区域和
Figure FDA00004572285000000426
的右视点对应区域、
Figure FDA00004572285000000427
的左视点对应区域和
Figure FDA00004572285000000428
的右视点对应区域分别记为
Figure FDA00004572285000000429
和
Figure FDA00004572285000000430
和和
Figure FDA00004572285000000432
③-3、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA00004572285000000433
对应位置的区域记为Rocc'，
Figure FDA00004572285000000435
其中，“∪”为集合并运算符号，
Figure FDA00004572285000000434
为参考立体图像在人类视觉***中形成的cyclopean图像C中与对应位置的区域，
Figure FDA0000457228500000052
Figure FDA0000457228500000053
为参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA0000457228500000054
对应位置的区域，
Figure FDA0000457228500000055
③-4、将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA0000457228500000056
对应位置的区域记为
Figure FDA0000457228500000057
将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA0000457228500000059
对应位置的区域记为
Figure FDA00004572285000000510
R bs r ′ = { p s , t r | p s , t r ∈ I r ^ p ^ s , t r ∈ R ^ bs r ′ } ;
③-5、将参考立体图像在人类视觉***中形成的cyclopean图像C中与对应位置的区域记 将参考立体图像在人类视觉***中形成的cyclopean图像C中与
Figure FDA00004572285000000515
对应位置的区域记为 R bf r ′ = { p s , t r | p s , t r ∈ I r ^ p ^ s , t r ∈ R ^ bf r ′ } ;
③-6、对
Figure FDA00004572285000000518
Figure FDA00004572285000000519
Figure FDA00004572285000000520
Figure FDA00004572285000000521
Figure FDA00004572285000000522
Rocc'、
Figure FDA00004572285000000523
Figure FDA00004572285000000524
Figure FDA00004572285000000525
Figure FDA00004572285000000526
中的所有大小为k×k的图像块分别进行奇异值分解，得到
Figure FDA00004572285000000527
Figure FDA00004572285000000528
Figure FDA00004572285000000530
Figure FDA00004572285000000531
Rocc'、
Figure FDA00004572285000000532
Figure FDA00004572285000000534
Figure FDA00004572285000000535
中的所有大小为k×k的图像块各自对应的奇异值。
3.根据权利要求2所述的一种立体图像质量客观评价方法，其特征在于所述的步骤③-1中k=4。
4.根据权利要求2所述的一种立体图像质量客观评价方法，其特征在于所述的步骤④的具体过程为：
④-1、计算
Figure FDA00004572285000000536
与Rocc'中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i个遮挡块，将其记为并将Rocc'中与
Figure FDA00004572285000000539
对应位置的第i个遮挡块记为Bi，计算
Figure FDA00004572285000000540
与Bi之间的奇异值距离，记为Docc(i)，
Figure FDA00004572285000000543
然后统计中的所有遮挡块对应的奇异值距离作为
Figure FDA00004572285000000542
的全局失真程度，记为Qocc，
Figure FDA0000457228500000061
其中，1≤i≤Nocc，Nocc表示和Rocc'中的所有遮挡块的个数，sqrt()为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，si,j表示Bi中的第j个奇异值，
Figure FDA0000457228500000063
表示
Figure FDA0000457228500000064
中的第j个奇异值，“||”为取绝对值符号，Docc(m)表示Docc(1),Docc(2),…,Docc(Nocc)的中值；
④-2、计算
Figure FDA0000457228500000065
与中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure FDA0000457228500000067
中的第i'个双目掩蔽块，将其记为
Figure FDA0000457228500000068
并将
Figure FDA0000457228500000069
中与
Figure FDA00004572285000000610
对应位置的第i'个双目掩蔽块记为
Figure FDA00004572285000000611
计算与
Figure FDA00004572285000000613
之间的奇异值距离，记为
Figure FDA00004572285000000614
Figure FDA00004572285000000615
然后计算
Figure FDA00004572285000000616
与
Figure FDA00004572285000000617
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i'个双目掩蔽块，将其记为
Figure FDA00004572285000000619
并将
Figure FDA00004572285000000620
中与
Figure FDA00004572285000000621
对应位置的第i'个双目掩蔽块记为
Figure FDA00004572285000000622
计算
Figure FDA00004572285000000623
与
Figure FDA00004572285000000624
之间的奇异值距离，记为
Figure FDA00004572285000000625
Figure FDA00004572285000000626
接着计算
Figure FDA00004572285000000627
中的所有双目掩蔽块的奇异值距离，对于
Figure FDA00004572285000000628
中的第i'个双目掩蔽块，将其记为
Figure FDA00004572285000000629
并将其奇异值距离记为Dbs(i')，
Figure FDA00004572285000000630
再统计
Figure FDA00004572285000000631
中的所有双目掩蔽块对应的奇异值距离作为
Figure FDA00004572285000000632
的全局失真程度，记为Qbs，
Figure FDA00004572285000000633
其中，1≤i'≤Nbs，Nbs表示
Figure FDA00004572285000000634
或
Figure FDA00004572285000000635
中的所有双目掩蔽块的个数，sqrt()为求平方根函数，1≤j≤k，k亦为一个图像块中的奇异值的个数，表示
Figure FDA00004572285000000637
中的第j个奇异值，
Figure FDA00004572285000000638
表示中的第j个奇异值，
Figure FDA00004572285000000640
表示
Figure FDA00004572285000000641
中的第j个奇异值，
Figure FDA00004572285000000642
表示
Figure FDA00004572285000000643
中的第j个奇异值，min()为取最小值函数，“||”为取绝对值符号，Dbs(m)表示Dbs(1),Dbs(2),…,Dbs(Nbs)的中值；
④-3、计算与
Figure FDA00004572285000000645
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于中的第i''个双目融合块，将其记为
Figure FDA0000457228500000072
并将
Figure FDA0000457228500000073
中与
Figure FDA0000457228500000074
对应位置的第i''个双目融合块记为
Figure FDA0000457228500000075
计算
Figure FDA0000457228500000076
与
Figure FDA0000457228500000077
之间的奇异值距离，记为
Figure FDA0000457228500000078
Figure FDA0000457228500000079
然后计算
Figure FDA00004572285000000710
与
Figure FDA00004572285000000711
中所有对应位置的大小为k×k的图像块之间的奇异值距离，对于
Figure FDA00004572285000000712
中的第i''个双目融合块，将其记为
Figure FDA00004572285000000713
并将
Figure FDA00004572285000000714
中与
Figure FDA00004572285000000715
对应位置的第i''个双目融合块记为
Figure FDA00004572285000000716
计算
Figure FDA00004572285000000717
与
Figure FDA00004572285000000718
之间的奇异值距离，记为
Figure FDA00004572285000000719
Figure FDA00004572285000000720
接着统计
Figure FDA00004572285000000721
中的所有双目融合块对应的奇异值距离作为的全局失真程度，记为
Figure FDA00004572285000000723
并统计
Figure FDA00004572285000000725
中的所有双目融合块对应的奇异值距离作为
Figure FDA00004572285000000726
的全局失真程度，记为
Figure FDA00004572285000000727
Figure FDA00004572285000000728
再根据
Figure FDA00004572285000000729
和
Figure FDA00004572285000000730
计算
Figure FDA00004572285000000731
的全局失真程度，记为Qbf，
Figure FDA00004572285000000732
其中，1≤i''≤Nbf，Nbf表示
Figure FDA00004572285000000733
或
Figure FDA00004572285000000734
中的所有双目融合块的个数，sqrt()为求平方根函数，1≤j≤k，k表示一个图像块中的奇异值的个数，
Figure FDA00004572285000000735
表示
Figure FDA00004572285000000736
中的第j个奇异值，
Figure FDA00004572285000000737
表示
Figure FDA00004572285000000738
中的第j个奇异值，
Figure FDA00004572285000000739
表示
Figure FDA00004572285000000740
中的第j个奇异值，
Figure FDA00004572285000000741
表示
Figure FDA00004572285000000742
中的第j个奇异值，“”为取绝对值符号，
Figure FDA00004572285000000743
表示
Figure FDA00004572285000000744
Figure FDA00004572285000000745
的中值，
Figure FDA00004572285000000746
表示
Figure FDA00004572285000000747
的中值。
5.根据权利要求4所述的一种立体图像质量客观评价方法，其特征在于所述的步骤⑤中a=0,b=0.5,c=0.5。
CN201210046292.3A 2012-02-27 2012-02-27 一种立体图像质量客观评价方法 Expired - Fee Related CN102595185B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210046292.3A CN102595185B (zh) 2012-02-27 2012-02-27 一种立体图像质量客观评价方法
US13/775,197 US8953873B2 (en) 2012-02-27 2013-02-24 Method for objectively evaluating quality of stereo image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210046292.3A CN102595185B (zh) 2012-02-27 2012-02-27 一种立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN102595185A CN102595185A (zh) 2012-07-18
CN102595185B true CN102595185B (zh) 2014-06-25

Family

ID=46483326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210046292.3A Expired - Fee Related CN102595185B (zh) 2012-02-27 2012-02-27 一种立体图像质量客观评价方法

Country Status (2)

Country Link
US (1) US8953873B2 (zh)
CN (1) CN102595185B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配***
CN103533343B (zh) * 2013-09-29 2015-05-20 宁波大学 一种基于数字水印的立体图像质量客观评价方法
CN104811691B (zh) * 2015-04-08 2017-07-21 宁波大学 一种基于小波变换的立体视频质量客观评价方法
CN105282543B (zh) * 2015-10-26 2017-03-22 浙江科技学院 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN106683072B (zh) * 2015-11-09 2020-02-21 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及***
CN105744264B (zh) * 2016-02-02 2017-12-05 中国传媒大学 一种立体视频质量的评测方法及评测***
CN105959684B (zh) * 2016-05-26 2019-05-14 天津大学 基于双目融合的立体图像质量评价方法
US11112530B2 (en) * 2016-11-04 2021-09-07 Exxonmobil Upstream Research Company Global inversion of gravity data using the principle of general local isostasy for lithospheric modeling
CN106791801A (zh) * 2016-11-22 2017-05-31 深圳大学 一种三维图像的质量评价方法及***
CN109257592B (zh) * 2017-07-12 2020-09-01 天津大学 基于深度学习的立体视频质量客观评价方法
CN110246111B (zh) * 2018-12-07 2023-05-26 天津大学青岛海洋技术研究院 基于融合图像和强化图像的无参考立体图像质量评价方法
CN109903273B (zh) * 2019-01-30 2023-03-17 武汉科技大学 一种基于dct域特征的立体图像质量客观评价方法
CN110517308A (zh) * 2019-07-12 2019-11-29 重庆邮电大学 一种无参考非对称失真立体图像质量评价方法
CN112164056B (zh) * 2020-09-30 2023-08-29 南京信息工程大学 基于交互式卷积神经网络的无参考立体图像质量评价方法
CN113834638B (zh) * 2021-09-03 2024-05-24 大连中科创达软件有限公司 视场角确定方法、装置、设备及存储介质
CN113873223B (zh) * 2021-09-03 2023-07-21 大连中科创达软件有限公司 相机清晰度确定方法、装置、设备及存储介质
CN114923669A (zh) * 2022-04-08 2022-08-19 北京邮电大学 三维显示***的显示质量检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2324832A1 (en) * 2000-10-31 2002-04-30 Roger Lecomte Real-time image reconstruction for computed tomography systems
CN101950422A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种基于奇异值分解的图像质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2324832A1 (en) * 2000-10-31 2002-04-30 Roger Lecomte Real-time image reconstruction for computed tomography systems
CN101950422A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种基于奇异值分解的图像质量评价方法
CN102209257A (zh) * 2011-06-17 2011-10-05 宁波大学 一种立体图像质量客观评价方法
CN102333233A (zh) * 2011-09-23 2012-01-25 宁波大学 一种基于视觉感知的立体图像质量客观评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Aleksandr Shnayderman,Alexander Gusev,Ahmet M.Eskicioglu.An SVD-Based Grayscale Image Quality Measure.《IEEE TRANSACTIONS ON IMAGE PROCESSING》.2006,第15卷(第2期),P422-429.
An SVD-Based Grayscale Image Quality Measure;Aleksandr Shnayderman,Alexander Gusev,Ahmet M.Eskicioglu;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20060228;第15卷(第2期);P422-429 *
周俊明,郁梅,蒋刚毅,彭宗举,王旭,王阿红.利用奇异值分解法的立体图像客观质量评价模型.《计算机辅助设计与图形学学报》.2011,第23卷(第5期),P870-877. *

Also Published As

Publication number Publication date
US8953873B2 (en) 2015-02-10
CN102595185A (zh) 2012-07-18
US20140064604A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
CN102595185B (zh) 一种立体图像质量客观评价方法
Wang et al. Quality prediction of asymmetrically distorted stereoscopic 3D images
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103152600B (zh) 一种立体视频质量评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
Xing et al. Assessment of stereoscopic crosstalk perception
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN106303507B (zh) 基于时空联合信息的无参考视频质量评估方法
CN102750695A (zh) 一种基于机器学习的立体图像质量客观评价方法
CN103780895B (zh) 一种立体视频质量评价方法
CN104243973A (zh) 基于感兴趣区域的视频感知质量无参考客观评价方法
CN101146226A (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN103873854A (zh) 一种立体图像主观评价被试者数量及实验数据的确定方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN103400378A (zh) 基于人眼视特性的立体图像质量客观评价方法
CN108337504A (zh) 一种评价视频质量的方法及装置
Zhou et al. Utilizing binocular vision to facilitate completely blind 3D image quality measurement
CN103136748A (zh) 一种基于特征图的立体图像质量客观评价方法
Yang et al. New metric for stereo image quality assessment based on HVS
Chen et al. Study of subject agreement on stereoscopic video quality
CN110139095B (zh) 一种裸眼3d显示模组检测方法、***和可读存储介质
Jin et al. Validation of a new full reference metric for quality assessment of mobile 3DTV content
CN103108209B (zh) 基于视觉阈值与通道融合的立体图像客观质量评价方法
Opozda et al. The survey of subjective and objective methods for quality assessment of 2D and 3D images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625