CN107977967B - 一种面向视角合成的无参考图像质量评价方法 - Google Patents
一种面向视角合成的无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN107977967B CN107977967B CN201711399720.XA CN201711399720A CN107977967B CN 107977967 B CN107977967 B CN 107977967B CN 201711399720 A CN201711399720 A CN 201711399720A CN 107977967 B CN107977967 B CN 107977967B
- Authority
- CN
- China
- Prior art keywords
- image
- dog
- gradient
- representing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 29
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 16
- 238000011833 dog model Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 22
- 238000007430 reference method Methods 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明提出一种面向视角合成的无参考图像质量评价方法，该方法通过分析两类失真的特性，设计特征来量化合成图像中的失真：首先对图像的边缘破坏带来的失真以及纹理的不自然性进行量化，提取相应特征。然后使用机器学习的方法将特征进行整合，从而训练出能够对整个合成过程带来的失真进行评价的质量评价模型。本发明克服了现有方法的两个缺点：(1)现有方法仅能够评价合成过程中的一类失真，而该方法能够有效评价整个合成过程中的两类失真。(2)现有的方法大部分是全参考方法，即他们必须在提供原始无失真图像的情况下，才能对失真图像进行质量评价，而本文方法是无参考方法，具有更加广泛的应用前景。
Description
技术领域
本发明涉及虚拟视角合成的客观视觉质量评价方法，尤其是一种面向视角合成的无参考图像质量评价方法。
背景技术
视角合成是利用纹理图像和深度图像来合成新的视角图像。视角合成技术在多视角视频、自由视角电视等领域有非常广泛的应用[1]。对合成的视角的质量评价能够定量评价视角合成技术的好坏，也能够被用来优化合成技术。此外，对视角合成图像的质量评价直接影响这些应用的成功与否。所以，面向视角合成的质量评价具有重要意义。
合成视角中的失***要分为两类。第一类是在获取，处理和传输纹理图像和深度图像过程中带来的传统失真；第二类是在视角绘制过程中空洞填补过程带来的绘制失真。现有的针对视角合成图像的质量评价方法都是针对其中单独一类失真进行设计的。针对第一类失真，现有的算法有：1.Ryu等人[2]首先利用传统质量评价方法和合成容忍度方法分别对纹理图像和深度图像进行质量评价，分别得到两个质量分数。最后将两个分数进行加权得到整幅合成图像的质量分数；2.Wang等人[3]首先计算合成图像和原始无失真图像的纹理图相似性图像和深度图相似性图像；然后利用纹理信息图对深度相似性图像进行归一化；最后，将归一化后的深度相似性图像和纹理相似性图像结合来产生合成图像的质量分数。针对第二类失真，现有的方法为：Bosc等人[4]首先构建了一个视角合成图像库，并在SSIM算法的基础上提出了一种改进型质量评价方法。该图像库包含7种DIBR算法进行视角合成的图像；在质量评价时仅对原始视角的纹理图像和合成图像中对应的边缘区域利用SSIM评价，最后将SSIM均值作为最终的质量分数；Conze等人[5]首先采用SSIM算法计算合成图像和原始纹理图像之间的失真图，然后根据纹理复杂度、梯度方向和对比度计算三个加权图，最后利用加权图对失真图进行加权处理，从而得到质量分数。张艳等[6]针对视角合成图像中边缘的失真往往更为明显的特点，通过分析合成图像和原始图像的像素差异，并对边缘像素赋予较高权重，进而得到最终质量分数；Stankovic等[7]提出利用形态学小波对原始图像和合成图像进行多级分解，并在多个细节子带上计算均方误差，在此基础上进一步计算多尺度峰值信噪比并将其作为质量分数；Battisti等[8]提出的算法首先对参考图像和合成图像进行分块，运用运动估计算法进行匹配；对匹配后的图像块进行小波变换并计算系数直方图，利用Kolmogorov-Smirnov距离描述合成图像的失真程度；Jung等[9]首先用合成后的左右视角图像和视差图检测主要失真区域；然后对两个视角的失真区域计算SSIM分数，最后对左右视角的SSIM分数进行平均作为最终的质量分数。该方法侧重于合成过程中的左右视角不对称对合成质量的影响。Li等人[10]提出了一种基于局部几何失真和全局清晰度的视角合成图像质量评价。首先，检测出空洞区域，然后将空洞区域的大小和强度结合计算出局部几何失真分数；然后，利用再次模糊的方法计算出图像的全局清晰度分数。最后，将两个分数相结合生成合成图像的质量分数。Gu等人[11]提出了一种基于自回归模型的合成图像质量评价方法。该方法首先计算出合成图像的自回归图像，然后利用合成图像和自回归图像的差异来提取几何失真区域。采用一个阈值，将两幅图像的差值图像变换为二值图像。最后，二值图像和预测出来的自然图像之间的相似性数值被最为合成图像的质量分数。
以上的现有的合成图像质量评价方法具有以下缺陷：首先，每个方法都是针对其中一种类型的失真进行设计的，而忽略了视角图像合成过程中带来的另外一种失真。因此，他们不能够有效的评价整个视角合成过程；另外，在以上所有方法中，只有Gu的方法是无参考图像质量评价方法，即该方法无需原始图像作为参考。其他的方法均为全参考方法，即他们必须依赖原始图像才能对合成图像进行质量评价。而现实中，往往无法获得原始图像，这制约了现有的全参考方法的应用。综上，亟需设计出一种能够针对整个合成过程进行评价的无参考质量评价方法。
[1]Y.C.Fan,P.K.Huang,and D.W.Shen,“3DTV depth map reconstructionbased on structured light scheme,”IEEE Int.Instrum.Meas.Technol.Conf.,pp.835-838,May 2013.
[2]S.Ryu,S.Kim,and K.Sohn,“Synthesis quality prediction model basedon distortion intolerance,”IEEE Int.Conf.Image Process.,pp.585-589,Oct.2014.
[3]J.H.Wang,S.Q.Wang,K.Zeng and Z.Wang,“Quality assessment of multi-view-plus-depth images,”IEEE International Conference on Multimedia and Expo,pp.85-90,Jul.2017.
[4]E.Bosc,R.Pépion,P.L.Callet,M.Koppel,P.N.Nya,L.Morin andM.Pressigout,“Towards a new qualtiy metric for 3-D synthesized viewassessment,”IEEE J.Select.Top.Signal Process.,vol.5,no.7,pp.1332-1343,Sep.2011.
[5]P.H.Conze,P.Robert and L.Morin,“Objective view synthesis qualityassessment,”Electron.Imag.Int.Society for Optics and Photonics,vol.8288,pp.8288-8256,Feb.2012.
[6]张艳，安平，尤志翔，张兆杨,基于边缘差异的虚拟视图像质量评价方法,《电子与信息学报》，35(8):1894-1900,2013.
[7]D.S.Stankovic,D.Kukolj and P.L.Callet,“DIBR synthesized imagequality assessment based on morphological wavelets,”IEEE Int.Workshop onQuality of Multimedia Experience,pp.1-6,Jan.2015.
[8]F.Battisti,E.Bosc,M.Carli and P.L.Callet,“Objective image qualityassessment of 3D synthesized views,”Sig.Process.:Image Commun.,vol.30,pp.78-88,Jan.2015.
[9]Y.J.Jung,H.G.Kim,and Y.M.Ro,“Critical binocular asymmetry measurefor perceptual quality assessment of synthesized stereo 3D images in viewsynthesis”,IEEE Transactions on Circuits and Systems for Video Technology,26(7):1201-1214,2016.
[10]L.D.Li,Y.Zhou,K.Gu,W.S.Lin,and S.Q.Wang,“Quality assessment ofDIBR-synthesized images by measuring local geometric distortions and globalsharpness,”IEEE Trans.Multimedia.
[11]K.Gu,V.Jakhetiya,J.F.Qiao,X.L.Li,W.S.Lin and D.Thalmann,“Model-based referenceless quality metric of 3D synthesized images using local imagedescription,”IEEE Trans.Image Process.,vol.PP,pp.1-1,Jul.2017.DOI:10.1109/TIP.2017.2733164.
发明内容
发明目的：视角合成的过程主要包括纹理图像和深度图像的获取、处理、传输、虚拟视角的绘制过程。这些过程中都能够引入失真，其中，从纹理和深度图像的获取到传输，会引入传统失真，例如模糊，块效应等等；虚拟视角的绘制过程中，由于绘制算法的不完美，会在新合成的视角中带来绘制失真。综上，最终合成的视角中共存在两种失真，即传统失真和绘制失真。而现有的方法均是针对其中一种失真进行设计的，不能够有效的评价整个视角合成过程中的两类失真。为解决上述技术问题，本发明提出一种虚拟视角合成视图像质量的无参考评价方法，本发明通过分析两类失真的特性，设计特征来量化合成图像中的失真：首先对图像的边缘破坏带来的失真以及纹理的不自然性进行量化，提取相应特征，然后将所有的特征进行整合，采用机器学习找到能够对整个合成过程带来的失真的评价模型。
技术方案：为实现上述技术效果，本发明提出的技术方案为：
一种面向视角合成的无参考图像质量评价方法，包括步骤：
(1)收集一组视角合成图像，形成视角合成图像库；
(2)量化视角合成图像库中每一幅视角合成图像中的失真，量化的步骤包括对每幅视角合成图像执行步骤(2-1)至(2-3)：
(2-1)定义视角合成图像为尺度图像1；对视角合成图像分别进行n-1次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n-1]；尺度图像1至n形成具有n个尺度的尺度空间；
(2-2)构建DoG模型；DoG模型包括n个图像，记为DoG1,DoG2,…,DoGn；其中，DoGi为尺度图像i+1和尺度图像i的差值，i∈[1,2,…,n-1]；DoGn为尺度图像n；
(12-3)对DoG模型中的每个图像分别进行特征参数提取，得到每幅图像的7个边缘方向选择性特征参数和2个纹理自然性特征参数；
(3)将视角合成图像库中的图像随机分为训练图像和测试图像两部分；采用随机森林法对训练图像的特征参数进行建模，得到质量评价模型；以测试图像的特征参数为质量评价模型的输入，得到测试图像的客观质量分数。
进一步的，所述任意一幅尺度图像i表示为：
其中，*表示卷积符号，σi表示尺度图像i的高斯核函数的标准差；Li(x,y)表示尺度图像i中像素点(x,y)处的像素值；I(x,y)表示视角合成图像中像素点(x,y)处的像素值；G()为高斯核函数，G(x,y,σi)的表达式为：
进一步的，所述DoG模型中任意一幅图像表示为：
式中，DoGi(x,y)表示图像DoGi中像素点(x,y)处的像素值。
进一步的，所述对DoG模型中的任意一个图像DoGi进行边缘方向选择性特征参数提取的步骤包括：
1)使用过完备小波变换将DoGi分解到2个尺度和6个方向上：
2)将同一方向不同尺度的小波系数归入一个集合，共得到6个小波系数集合，记为Zit，t＝[1,2,…,6]；
3)对每个小波系数集合执行步骤S3-1至S3-4：
S3-1：计算Zit的一阶绝对矩：
式中，J1为Zit的一阶绝对矩，z为随机变量，θ表示伽马函数，
γit表示Zit的形状参数，y2为一中间参数，
σ表示小波系数的标准差；
令-|zy2|γit＝Yit，得到
将
代入J1的计算公式，得到：
S3-2：计算Zit的二阶矩为：
J2＝σ2 (6)
S3-3：令
根据公式(7)计算出γit：
式中，zj表示集合Zit中第j个小波系数，h表示Zit中小波系数的个数；
4)将6个小波系数集合Zi1至Zi6合并为一个集合，记为Zi7；对Zi7执行步骤3)，得到γi7；γi1,γi2,…,γi7即为DoGi的7个边缘方向选择性特征参数。
进一步的，对所述任意一个DoG图像DoGi进行纹理自然性特征参数提取的步骤包括：
(5-1)计算DoG图像DoGi的梯度图像gi,gi满足：
式中，gi(x,y)表示梯度图像gi中像素点(x,y)处的像素值，
和
别表示DoGi的水平方向梯度和垂直方向梯度；其中，
(5-2)对DoG图像DoGi及其梯度图像gi进行归一化处理：
其中，
表示梯度图像gi归一化后像素点(p,q)处的像素值；
表示DoG图像DoGi归一化后像素点(p,q)处的像素值；INT表示取整操作；gi,min表示梯度图像gi的最小像素值，gi,max表示梯度图像gi的最大像素值，Ni,g表示梯度图像gi归一化后的最大灰度值；DoGi,min表示DoG图像DoGi的最小像素值，DoGi,max表示DoG图像DoGi的最大像素值，Ni,D表示DoG图像DoGi归一化后的最大灰度值；
(5-3)根据步骤(5-2)的结果计算DoG图像DoGi的灰度梯度共生矩阵Mi，Mi中的元素表示为Mi(p,q)，Mi(p,q)的值为：满足
且
的像素点的个数；
(5-4)从灰度梯度共生矩阵Mi中提取能量和梯度均方差作为图像DoGi的2个纹理自然性特征参数。
进一步的，所述步骤(5-4)中从灰度梯度共生矩阵Mi中提取能量的计算方法为：
从灰度梯度共生矩阵Mi中提取梯度均方差的计算方法为：
其中，
表示梯度图像gi的均值。
有益效果：与现有技术相比，本发明具有以下优势：
1、克服了现有方法仅能够评价合成过程中的一类失真的缺点，该方法能够有效评价整个合成过程中的两类失真；
2、本发明的性能明显优于现有的无参考视觉质量评价方法，具体包括：通用的无参考图像质量评价方法，现有的视角合成图像质量评价方法；
3、和现有方法相比，本发明的跨库性能最好，可扩展性最强。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
图1所示为本发明的流程图，由图可知：本发明的整体流程分为四大模块：
1、尺度空间表达2、DoG模型建立3、特征提取4、训练质量评价模型。下面对这四个步骤进行详细介绍：
模块1：尺度空间表达—对于一幅视角合成图像，使用高斯低通滤波器对图像进行多次滤波，从而构建出图像的尺度空间。
模块2：DOG模型的建立—将相邻尺度的图像作差，得到高斯滤波的差值图像，即DoG图像。
模块3：特征提取—在DoG图像和最后一个尺度图像中进行特征提取，在每一幅图像中具体提取的特征为7个边缘方向选择性特征和2个纹理自然性特征。
模块4：质量评价模型的建立—将数据库中的图像随机分为两部分。第一部分用来训练质量评价模型，第二部分用来测试。输入第一部分中所有训练特征，采用随机森林训练出质量评价模型。然后使用训练的模型对第二部分中的测试图像进行质量预测，得到用于评价视角合成图像质量的客观质量分数。
下面结合具体实施例对本发明的技术方案进行详细解释：
步骤一：由于合成过程中带来的两类失真均会造成边缘的破坏和纹理的不自然性，而DoG分解能够有效的抓取图像中边缘和纹理特征。由于DoG分解需要在相邻尺度图像上进行，所以，首先使用高斯滤波器进行尺度空间的建立：
定义视角合成图像为尺度图像1；对视角合成图像分别进行n-1次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n-1]；尺度图像1至n形成具有n个尺度的尺度空间；任意一幅尺度图像i表示为：
其中，*表示卷积符号，σi表示尺度图像i的高斯核函数的标准差；Li(x,y)表示尺度图像i中像素点(x,y)处的像素值；I(x,y)表示视角合成图像中像素点(x,y)处的像素值；G()为高斯核函数，G(x,y,σi)的表达式为：
本实施例中，n的取值为4，所以构建了含有四个尺度图像的尺度空间，分别表示为：L1,L2,L3,L4。
步骤二：构建DoG模型；DoG模型包括4个DoG图像，记为DoG1,DoG2,DoG3,DoG4；其中，DoGi为尺度图像i+1和尺度图像i的差值，i∈[1,2,…,3]；DoG4为尺度图像4，DoG图像的表达式为：
DoGi+1(x,y)＝Li(x,y)-Li+1(x,y),i∈[1,2,3]
DoG4(x,y)＝L4(x,y)
式中，DoGi+1(x,y)表示DoG图像i+1在像素点(x,y)处的像素值。
步骤三：对于一幅自然图像，在不同尺度相同方向上的小波系数满足广义高斯分布，这种规律被叫做方向选择性统计。而合成图像中的失真会造成这种自然图像的统计特性。使用过完备小波变换将每一幅DoG图像分解到2个尺度和6个方向上，然后对DoG图像的小波系数进行离散归一化，并对归一化后的相同方向不同尺度上的小波系数采用广义高斯分布函数进行拟合。
对DoG模型中的任意一个图像DoGi进行边缘方向选择性特征参数提取的步骤包括：
S1使用过完备小波变换将DoGi分解到2个尺度和6个方向上：
S2将同一方向不同尺度的小波系数归入一个集合，由于每一幅DoG图像被分为6个方向、2个尺度，因此共得到6个小波系数集合，记为Zit，t＝[1,2,…,6]；
S3对每个小波系数集合执行步骤S3-1至S3-4：
S3-1：计算Zit的一阶绝对矩：
式中，J1为Zit的一阶绝对矩，z为随机变量，θ表示伽马函数，
γit表示Zit的形状参数，y2为一中间参数，
令-|zy2|γit＝Yit，得到
将
代入J1的计算公式，得到：
S3-2：计算Zit的二阶矩为：
J2＝σ2 (6)
S3-3：令
根据公式(7)计算出γit：
式中，zj表示集合Zit中第j个小波系数，h表示Zit中小波系数的个数；
S4将6个小波系数集合Zi1至Zi6合并为一个集合，记为Zi7；对Zi7执行步骤S3，得到γi7；γi1,γi2,…,γi7即为DoGi的7个边缘方向选择性特征参数。
本实施例中，4幅DoG图像共计得到28个边缘方向选择性特征参数。
步骤四：由于视角合成过程中同样带来了纹理自然性的丢失，所以我们使用灰度梯度共生矩阵来描述图像的纹理特征。
对所述任意一个DoG图像DoGi进行纹理自然性特征参数提取的步骤包括：
(5-1)计算DoG图像DoGi的梯度图像gi,gi满足：
式中，gi(x,y)表示梯度图像gi中像素点(x,y)处的像素值，
和
别表示DoGi的水平方向梯度和垂直方向梯度；其中，
(5-2)对图像DoGi及其梯度图像gi进行归一化处理：
其中，
表示梯度图像gi归一化后像素点(p,q)处的像素值；
表示DoG图像DoGi归一化后像素点(p,q)处的像素值；INT表示取整操作；gi,min表示梯度图像gi的最小像素值，gi,max表示梯度图像gi的最大像素值，Ni,g表示梯度图像gi归一化后的最大灰度值；DoGi,min表示DoG图像DoGi的最小像素值，DoGi,max表示DoG图像DoGi的最大像素值，Ni,D表示DoG图像DoGi归一化后的最大灰度值；
(5-3)根据步骤(5-2)的结果计算DoG图像DoGi的灰度梯度共生矩阵Mi，Mi中的元素表示为Mi(p,q)，Mi(p,q)的值为：满足
且
的像素点的个数；
(5-4)从灰度梯度共生矩阵Mi中提取能量和梯度均方差作为图像DoGi的2个纹理自然性特征参数；从灰度梯度共生矩阵Mi中提取能量的计算方法为：
从灰度梯度共生矩阵Mi中提取梯度均方差的计算方法为：
其中，
表示梯度图像gi的均值。
每一幅DoG图像能够提取2个代表纹理自然性的特征，所以共得到2×4＝8个纹理自然性特征参数。
步骤五：对于任意一幅输入的视角合成图像，可以得到28个方向选择性特征和8个纹理自然性特征，共有36个特征参数。我们将视角合成图像库中的图像随机分为训练图像和测试图像两部分；采用随机森林法对训练图像的特征参数进行建模，得到质量评价模型；以测试图像的特征参数为质量评价模型的输入，得到测试图像的客观质量分数。
下面通过具体试验数据对本发明的技术效果进行说明。
本发明的实验部分是在2个公开的视角合成图像数据集上进行的。即MCL库和IVC-DIBR库。MCL库中包含684对视角合成图像，即684个左视角图像和684个右视角图像。该数据库中的图像，有648对包含传统失真，剩下的36对图像包含的视角绘制失真。IVC库中提供了12幅原始图像和84幅只含有视角绘制失真的图像。在实验的操作过程中，对于一个待测试的视角合成图像数据库，首先随机将图像分为80％和20％，其中，80％的图像用来进行模型的建立，20％的图像用来模型的测试。为了避免偶然性的发生，这个过程循环1000次，4个性能指标的中值被作为最终的性能参数。
首先，我们将本发明的性能和现有的视角合成图像质量评价方法在两个数据库中进行比较。PLCC/SRCC/KRCC数值越大，RMSE数值越小，说明算法性能越好。表1中：相关系数(Pearson linear correlation coefficient,PLCC)为非线性回归后的线性相关系数；均方误差根(Root mean squared error，RMSE)为非线性回归后的标准差；Kendall等级相关系数(Kendall’s Rank Correlation Coefficient，KRCC)；Spearman相关系数(Spearmanrank order correlation coefficient，SRCC)。由于Wang的方法依赖深度图像，而IVC库没有提供深度图像，所以无法评价该方法在IVC库上的性能。因此，在表1中，用短横线“-”标记。
表1本发明所提供的方法和现有视角合成图像质量评价算法的性能对比
由表1可知，本发明所提供的方法在两个库上的PLCC/SRCC/KRCC明显高于所有其他的算法，RMSE最小。这说明了本发明所提供的方法性能具有明显的优越性。而且由于MCL库中的图像含有两种类型的失真，这进一步证明本发明所提供的方法能够对整个视角合成过程中的失真进行最为准确的评价。
为了进一步验证本发明所提供的方法的性能，我们将本发明所提供的方法和通用图像质量评价方法进行比较。通用图像质量评价算法是指无需知道图像的失真类型，即可对图像进行质量评价的算法。
表2本发明所提供的方法和通用图像质量评价算法的性能比较表
由表2的数据可知，本发明所提供的方法的性能明显优于通用图像质量评价算法。具体表现为最好的预测准确性和单调性。
对于基于训练的质量评价算法，跨库性能，即可扩展性是这些方法的重要评价指标。跨库实验，是指用一个图像库中的所有图像提取的特征训练出质量评价模型，然后利用该模型来测试另一个数据库中的所有图像的性能。基于此，对所有基于训练的质量评价方法进行可扩展性的验证实验。
表3基于训练的算法的跨库性能对比表
由表3的实验结果可知，本发明所提供的方法具有最好的跨库性能，即本发明所提供的方法的可扩展性最强。
综上，所有实验结果均证明本发明所提供的方法的优越性。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种面向视角合成的无参考图像质量评价方法，其特征在于，包括步骤：
(1)定义原始视角合成图像为尺度图像1；对原始视角合成图像分别进行n-1次高斯低通滤波，并记第i′次的滤波结果为尺度图像i′+1，i′∈[1，2，…，n-1]；尺度图像1至n形成具有n个尺度的尺度空间；所述任意一幅尺度图像i表示为：
其中，*表示卷积符号，σi表示尺度图像i的高斯核函数的标准差；Li(x，y)表示尺度图像i中像素点(x，y)处的像素值；I(x，y)表示原始视角合成图像中像素点(x，y)处的像素值；G()为高斯核函数，G(x，y，σi)的表达式为：
(2)构建DoG模型；DoG模型包括n个图像，记为DoG1，DoG2，…，DoGn；其中，DoGi为尺度图像i+1和尺度图像i的差值，i∈[1，2，…，n-1]；DoGn为尺度图像n；
(3)对DoG模型中的每个图像分别进行边缘方向选择性特征参数提取和纹理自然性特征参数提取；
边缘方向选择性特征参数提取的步骤包括：
(311)使用过完备小波变换将DoGi分解到2个尺度和6个方向上：
(312)将同一方向不同尺度的小波系数归入一个集合，共得到6个小波系数集合，记为Zit，t＝[1，2，…，6]；
(313)对每个小波系数集合执行步骤S3-1至S3-4：
S3-1：计算Zit的一阶绝对矩：
式中，J1为Zit的一阶绝对矩，z为随机变量，θ表示伽马函数，
γit表示Zit的形状参数，y2为一中间参数，
σ表示小波系数的标准差；
令
得到
将
代入J1的计算公式，得到：
s3-2：计算Zit的二阶矩为：
J2＝σ2 (6)
S3-3：令
根据公式(7)计算出γit：
式中，zj表示集合Zit中第j个小波系数，h表示Zit中小波系数的个数；
(314)将6个小波系数集合Zi1至Zi6合并为一个集合，记为Zi7；对Zi7执行步骤(313)，得到γi7；γi1，γi2，…，γi7即为DoGi的7个边缘方向选择性特征参数；
纹理自然性特征参数提取的步骤包括：
(321)计算DoG图像DoGi的梯度图像gi，gi满足：
式中，gi(x，y)表示梯度图像gi中像素点(x，y)处的像素值，
和
别表示DoGi的水平方向梯度和垂直方向梯度；其中，
(322)对DoG图像DoGi及其梯度图像gi进行归一化处理：
其中，
表示梯度图像gi归一化后像素点(p，q)处的像素值；
表示DoG图像DoGi归一化后像素点(p，q)处的像素值；INT表示取整操作；gi，min表示梯度图像gi的最小像素值，gi，max表示梯度图像gi的最大像素值，Ni，g表示梯度图像gi归一化后的最大灰度值；DoGi，min表示DoG图像DoGi的最小像素值，DoGi，max表示DoG图像DoGi的最大像素值，Ni，D表示DoG图像DoGi归一化后的最大灰度值；
(323)根据步骤(322)的结果计算DoG图像DoGi的灰度梯度共生矩阵Mi，Mi中的元素表示为Mi(p′，q′)，Mi(p′，q′)的值为：满足
且
的像素点的个数；
(324)从灰度梯度共生矩阵Mi中提取能量和梯度均方差作为图像DoGi的2个纹理自然性特征参数；
(4)将步骤(3)中提取到的特征参数随机分为两部分，一部分作为输入训练特征参数，采用随机森林法训练出质量评价模型；采用训练出的质量评价模型测试另一部分特征参数随机，得到用于评价原始视角合成图像质量的客观质量分数。
2.根据权利要求1所述的一种面向视角合成的无参考图像质量评价方法，其特征在于，所述DoG模型中任意一幅图像表示为：
式中，DoGi(x，y)表示图像DoGi中像素点(x，y)处的像素值。
3.根据权利要求1所述的一种面向视角合成的无参考图像质量评价方法，其特征在于，所述从灰度梯度共生矩阵Mi中提取能量的计算方法为：
从灰度梯度共生矩阵Mi中提取梯度均方差的计算方法为：
其中，
表示梯度图像gi的均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711399720.XA CN107977967B (zh) | 2017-12-22 | 2017-12-22 | 一种面向视角合成的无参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711399720.XA CN107977967B (zh) | 2017-12-22 | 2017-12-22 | 一种面向视角合成的无参考图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107977967A CN107977967A (zh) | 2018-05-01 |
| CN107977967B true CN107977967B (zh) | 2022-05-03 |
Family
ID=62007424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711399720.XA Active CN107977967B (zh) | 2017-12-22 | 2017-12-22 | 一种面向视角合成的无参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977967B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712134B (zh) * | 2018-12-28 | 2020-11-06 | 武汉虹识技术有限公司 | 虹膜图像质量评价方法、装置及电子设备 |
| CN110211090B (zh) * | 2019-04-24 | 2021-06-29 | 西安电子科技大学 | 一种用于评价视角合成图像质量的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN103581661A (zh) * | 2013-10-28 | 2014-02-12 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
| CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
| CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
| CN107343196A (zh) * | 2017-07-18 | 2017-11-10 | 天津大学 | 一种混合失真无参考图像质量评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI578977B (zh) * | 2011-04-07 | 2017-04-21 | 香港中文大學 | 視網膜圖像分析裝置 |
-
2017
- 2017-12-22 CN CN201711399720.XA patent/CN107977967B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN103581661A (zh) * | 2013-10-28 | 2014-02-12 | 宁波大学 | 一种立体图像视觉舒适度评价方法 |
| CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
| CN105898278A (zh) * | 2016-05-26 | 2016-08-24 | 杭州电子科技大学 | 一种基于双目多维感知特性的立体视频显著性检测方法 |
| CN107343196A (zh) * | 2017-07-18 | 2017-11-10 | 天津大学 | 一种混合失真无参考图像质量评价方法 |
Non-Patent Citations (5)
| Title |
|---|
| Image quality assessment using human visual DOG model fused with random forest;Pei, S. C.,et.al;《Transactions on Image Processing》;20151231;全文 * |
| Image quality assessment: from error visibility to structural similarity;Wang Z, et.al;《 IEEE Transactions on Image Processing》;20041231;全文 * |
| No-reference quality assessment of deblocked images;Li, L.,et.al;《Neurocomputing》;20161231;全文 * |
| 基于偏微分方程理论的图像复原技术研究;卢兆林;《中国优秀硕士学位论文全文数据库》;20131231;全文 * |
| 基于感知特征的图像质量评价方法研究;吴东;《中国优秀硕士学位论文全文数据库》;20170215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107977967A (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rudolph et al. | Fully convolutional cross-scale-flows for image-based defect detection | |
| Sandić-Stanković et al. | DIBR synthesized image quality assessment based on morphological wavelets | |
| CN109523506B (zh) | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 | |
| CN108053396B (zh) | 一种多失真图像质量的无参考评价方法 | |
| CN102629374B (zh) | 基于子空间投影和邻域嵌入的图像超分辨率重建方法 | |
| CN109949349B (zh) | 一种多模态三维图像的配准及融合显示方法 | |
| CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
| Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
| CN112465801B (zh) | 一种分尺度提取掩码特征的实例分割方法 | |
| CN108257125B (zh) | 一种基于自然场景统计的深度图像质量无参考评价方法 | |
| CN111062895B (zh) | 一种基于多视场分割的显微图像复原方法 | |
| CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
| CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
| CN107977967B (zh) | 一种面向视角合成的无参考图像质量评价方法 | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 | |
| CN109344860A (zh) | 一种基于lbp的无参考图像质量评价方法 | |
| CN108629771B (zh) | 一种具有尺度鲁棒性的图像质量盲评价方法 | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| CN110910347A (zh) | 一种基于图像分割的色调映射图像无参考质量评价方法 | |
| CN110211090B (zh) | 一种用于评价视角合成图像质量的方法 | |
| CN104282012A (zh) | 一种基于小波域的半参考图像质量评价算法 | |
| Fu et al. | Screen content image quality assessment using Euclidean distance | |
| CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
| Shi et al. | The objective evaluation of image object segmentation quality | |
| Liu et al. | Blind omnidirectional image quality assessment with representative features and viewport oriented statistical features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Leida Inventor after: Zhou Yu Inventor after: Lu Zhaolin Inventor before: Zhou Yu Inventor before: Li Leida Inventor before: Lu Zhaolin |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |