CN102750695B - 一种基于机器学习的立体图像质量客观评价方法 - Google Patents

Abstract

本发明提出了一种基于机器学习的立体图像质量客观评价方法，其包括如下步骤：提取立体图像的图像质量客观评价依据的参数；利用图像库中的标准图像序列提取出的参数进行机器学习；利用学习结果将立体图像质量评价结果与提取出的参数进行拟合；将拟合结果运用于待评价图像并与主观评价分数进行对比。本发明的基于机器学习的立体图像质量客观评价方法基于人眼的视觉特性，对PSNR，SSIM求取公式的形式和加权值做了改进，提出了视觉舒适度计算方法和利用融合后图像参数评价的方法，使用了多个特征参数联合拟合，提高了拟合效果。

Description

一种基于机器学习的立体图像质量客观评价方法

技术领域

本发明涉及计算机多媒体技术领域，特别涉及一种基于机器学习的立体图像质量客观评价方法。

背景技术

图像数据在进行采集、压缩处理、传输、重建以及图像通信等过程中，经过处理后的图像与原始图像会有差异，如何评价这些差异以及这些差异对图像效果造成的影响，是图像质量评价的主要内容。在对图像质量进行评价时，人是立体图像优劣的最终接收和评判者，因此必须考虑HVS(Human VisualSystem，人类视觉***)的立体信息处理机理，模拟其对立体信息的感知过程，构建质量评价模型。

目前，图像质量评价方法可以分为主观评价方法和客观评价方法。主观评价方法考虑了观察者对图像的理解效果，但是由于受到观察者知识背景、观测目的和环境等的影响，这种主观评价方法费时费力，可移植性差。客观评价方法是对表征图像质量的有关特性参数进行建模，从而使评价模型准确地反映HVS感知的主观质量，定量地表示图像主观质量的好坏。由于HVS是一个复杂的非线性***，基于它建立的评价方法很难精准；另外，对于立体图像，其与平面图像不同，立体图像在相邻视点间存在着高度的相关性,如果2个相邻视点的图像质量都很高，但是视点间的视差较小，观察者会感觉到图像立体感降低。而目前现有的基于人体视觉特性的立体图像客观评价标准都是针对某几种特定的失真情况，适用性不高。因此，建立一个引入人眼视觉特性的立体图像质量的客观评价标准，并在此基础上提出了一种基于机器学习的客观评价标准并使用机器学习来提高对不同失真情况的适用性是目前立体图像质量客观评价领域的一个亟需解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于机器学习的立体图像质量客观评价方法。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于机器学习的立体图像质量客观评价方法，其包括如下步骤：

S1：提取立体图像的图像质量客观评价依据的参数；

S2：利用图像库中的标准图像序列提取出的参数进行机器学习；

S3：利用学习结果将立体图像质量评价结果与提取出的参数进行拟合；

S4：将拟合结果运用于待评价图像并与主观评价分数进行对比。

本发明基于人眼的视觉特性，对PSNR（Peak Signal to Noise Ratio，峰值信噪比），SSIM（structural similarity index）求取公式的形式和加权值做了改进，提出了视觉舒适度计算方法和利用融合后图像参数评价的方法，使用了多个特征参数联合拟合，提高了拟合效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于机器学习的立体图像质量客观评价方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提供了一种基于机器学习的立体图像质量客观评价方法，其包括如下步骤：

S1：提取立体图像的图像质量客观评价依据的参数；

S2：利用图像库中的标准图像序列提取出的参数进行机器学习；

S3：利用学习结果将立体图像质量评价结果与提取出的参数进行拟合；

S4：将拟合结果运用于待评价图像并与主观评价分数进行对比。

图1是本发明基于机器学习的立体图像质量客观评价方法的流程图。从图中可见，本发明基于机器学习的立体图像质量客观评价方法的第一步为提取立体图像的图像质量客观评价依据的参数，在本实施方式中，将立体图像从感知图像质量，深度感知，视差，视觉疲劳特性，左右视点图像融合图像质量5个方面提取参数作为客观评价依据。

本发明将立体图像从感知图像质量方面提取参数的方法是在传统的PSNR方法基础上，并考虑立体视觉感知的方法，在图像频率不同的地方设定不同的权重，具体的提取方法为：对于一副大小为M*N的图像f（x，y）和参考图像g（x，y），图像的PSNR为：

$\mathrm{PSNR}=10\lg \frac{f_{\max }^2}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[f(x,y)-g(x,y)]}^2}---\left(1\right)$

其中，f_max是图像最大值。

在本实施方式中，设定观察者从亮度，色度，纹理三个方面感知图像质量，在PSNR方法基础上考虑人眼对亮度，色度，纹理的反应特性。人眼对亮度，纹理最为敏感，色度对人眼视觉质量影响不大。人眼视觉***对刺激信号的反映不是取决于信号的绝对亮度，而是取决于信号对于背景的相对亮度，频率高或者低的地方所占权重是不同的，由韦伯法则可知，视觉主观亮度s与光刺激强度I的对数成比例，即：

$s=k*\lg \frac{I}{I_o}---\left(2\right)$

其中，I_o为门限值，k为比例系数。

由此可以将亮度对PSNR的系数写作：

$s=k*\lg \frac{I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k}{\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k}---\left(3\right)$

其中，先将立体图分成n*n块，I_k为为当前块中所有像素亮度值。

人眼对于图像纹理不同部分的敏感程度不同，人眼视觉的主要作用是通过感知形状，追踪物体的轮廓来认知该物体。同样的噪声加在图像的细节和平坦区域上所引起的视觉失真感觉不同，感觉到加在细节区域内的噪声失真更明显，即人眼对边缘及条状结构比较敏感。因此可以选用亮度方差来描述图像子块的纹理粗糙度，方差越大表明该子块上的纹理细节越多，越能引起人眼视觉的关注，其权值也应适当加大；方差越小表明该子块区域越平坦，空间频率越相近，权值也应该适当降低。通过以上的分析，将纹理细节影响表示为：

$r=t*{\left(\frac{1}{\frac{\mathrm{MN}}{n^2}-1}\mathrm{\Σ}{(I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k)}^2\right)}^{\frac{1}{2}}---\left(4\right)$

其中，t为纹理细节影响系数。

主观视觉感受还与刺激面积有关系，人们在观察一张图片时,首先注意的兴趣点是图片中央部分,再依次往周围扩展,即图像的重要性一般是由中央向周围递减。因此关于人眼兴趣的系数可以定义为：

$p=2\frac{{(\frac{N}{n}-d_1)}^2+{(\frac{M}{n}-d_2)}^2}{\frac{\mathrm{MN}}{n^2}}---\left(5\right)$

其中，d₁、d₂是该点到该分块四条边界较小的横向像素点个数和较小的纵向像素点个数。

由此可得改进后的FPSNR值为：

$\mathrm{FPSNR}=10\lg \frac{\max {\{f(x,y)*[1+(s+r)*p\left]\right\}}^2}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{\{f(x,y)*[1+(s+r)*p]-g(x,y)*[1+(s+r)*p\left]\right\}}^2}---\left(6\right)$

其中， $s=k*\lg \frac{I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k}{\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k},$

$r=t*{\left(\frac{1}{\frac{\mathrm{MN}}{n^2}-1}\mathrm{\Σ}{(I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k)}^2\right)}^{\frac{1}{2}},$

$p=2\frac{{(\frac{N}{n}-d_1)}^2+{(\frac{M}{n}-d_2)}^2}{\frac{\mathrm{MN}}{n^2}}$

利用式（6）就可提取出左右视图的感知图像质量FPSNR_left和FPSNR_right。

本发明将立体图像从深度感知方面提取参数的方法是计算立体图像对的匹配点，并根据绝对视差图的轮廓边缘估算应有的匹配点，根据其比例设定参数。

在本实施方式中，首先利用mean-shift方法计算待评价的立体图像对匹配点个数P₁，并根据绝对视差图的轮廓边缘估算应有的匹配点个数P₂，在本发明的其他有优选实施方式中，也可以利用mean-shift方法计算参考图像对匹配点个数作为P₂，则根据深度感知提取的参数即为：

$\mathrm{DEP}=10\frac{P_1}{P_2}---\left(7\right)$

本发明将立体图像从视差方面提取参数的方法是利用立体视觉感知的SSIM理论，使用无参考的结构相似度计算方法计算视差图参数。

基于结构相似性的图像质量评价方法的根本在于找到一种更直接的途径来比较失真图像与原始参考图像之间的结构信息。结构相似性度量将失真建模为三个不同因素的组合：亮度I、对比度c和结构s。用均值作为亮度的估计，用标准差作为对比度的估计，用协方差作为结构相似程度的度量，于是，结构相似性度量定义为：

SSIM(X,Y)=[I(X,Y)]^α[c(X,Y)]^β[s(X,Y)]^γ    （8）

人眼对图像的不同部分敏感度不同，人眼对边缘及纹理结构信息最为敏感和重视，即边缘和纹理结构信息很可能是图像结构信息中的最重要内容。而SSIM仅仅通过求取了原始图像和失真图像之间像素值的相关系数，没有很好的反映图像的边缘和结构信息。鉴于人眼对图像边缘纹理信息的敏感度极高，给每个像素以不同的权值，边缘的地方权重大。

在本发明的一种优选实施方式中，利用基于图像分割和运动检测的双目视频深度计算的方法求取待评价立体图像对和参考立体图像对的视差图，而根据视差提取的参数为：

$\mathrm{PSSIM}=\frac{1}{(M-1)(N-1)\mathrm{\Σ}{K}_i}\underset{i=1}{\overset{(M-1)(N-1)}{\mathrm{\Σ}}}{K}_i*\mathrm{SSIM}(X_i,Y_i)---\left(9\right)$

计算视差图除了第一行，第一列，最后一行，最后一列之外的所有点，其中K_i(m,n)=|4x(m,n)-x(m-1,n)-x(m+1,n)-x(m,n-1)-x(m,n+1)|，m，n表示当前像素横纵坐标，由此计算得根据视差提取的参数PSSIM。

本发明将立体图像从视觉疲劳特性方面提取参数的方法为根据亮度和视差与视觉疲劳特性的关系，利用亮度梯度和视差梯度计算参数。首先，利用基于图像分割和运动估计的双目图像深度提取方法求取立体图像对的视差图，对一副M*N的视差图像，按照视差大小排序，视差最大的点为x₁，视差最小的点为x_MN，表征眼球运动的量其中d（x，y）表示x，y两点间距离的像素值，表征视差量大小的量而从视觉舒适度方面提取的参数为：

CVC＝EM*HP    （10）

本发明将立体图像从左右视点图像融合图像质量提取参数的方法为：首先，利用基于图像分割和运动估计的双目图像深度提取方法求取立体图像对的视差图；然后，以双目图像匹配点信息为基础，设计DIBR（Depth Image BasedRendering,基于深度图渲染）参数，得到左右视点融合后的图像，再提取其FPSNR参数。

在本实施方式中，设计DIBR参数的方法为利用双目图像匹配点信息为基础，对其中的视差进行插值计算，得出相邻图像每一像素应有的平移量的一半，根据这个平移量设计DIBR参数，然后再使用Inpainting方法进行空洞填充得到DIBR后的左右视点融合后的一幅图像，计算其FPSNR值，得到FPSNR_new。

根据本发明的方法提取出这5个参数后，将客观评价打分视为这5个参数的线性组合，即：

SCORE=λ₁(FPSNR_left+FPSNR_right)+λ₂DEP+λ₃PSSIM+λ₄CVC+λ₅FPSNR_new  （11）

在客观评价打分后，利用图像库中的标准图像序列提取出的参数进行机器学***面，使得分类器应能将所有训练集的样本正确地给予分类。

然后，利用学习结果将立体图像质量评价结果与提取出的参数进行拟合。

最后，将拟合结果运用于待评价图像并与主观评价分数进行对比，具体的方法为利用拟合出的线性结果作用于待检测图像，计算起客观评价分数，并与主观评价分数进行对比，并将此结果放入支持向量机中继续学习，更新拟合结果。在本实施方式中，选用图像库中的标准图像序列，其每幅立体图像均被提取了客观评价指标：FPSNR,DEP,PSSIM,CVC,FPSNR，即每个实验样本由五个指标组成。为了验证所提指标的性能，将实验样本送入支持向量机网络进行验证，在支持向量机的核函数选择中选取了径向基核函数，即RBF核函数，其中参数设置为：训练时，径向基宽度σ=1，惩罚因子C=1；测试时，径向基宽度σ=0.4，惩罚因子C=1。在本实施方式中，采用的训练样本数为100，测试时使用另外100个未参加过训练的样本进行测试，与主观实测基本符合，结果呈线性。经分析，错分的样本主要是处在两个级别的边界附近，这是由于主观评价方法稳定性较差，对人的立体图像观察能力要求很高，受观察者背景知识、观测动机、观测环境等各种因素的影响。测试后将主观评价结果放入向量机中进行更新，以得到更好的效果，另外，通过调整支持向量机网络的参数，与主观实测符合的样本数有望增加。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种基于机器学习的立体图像质量客观评价方法，其特征在于，包括如下步骤：

S1：提取立体图像的图像质量客观评价依据的参数；

S2：利用图像库中的标准图像序列提取出的参数进行机器学习；

S3：利用学习结果将立体图像质量评价结果与提取出的参数进行拟合；

S4：将拟合结果运用于待评价图像并与主观评价分数进行对比，并将对比结果输入支持向量机中继续学习，以更新拟合结果；

其中，步骤S1具体包括：将立体图像从感知图像质量，深度感知，视差，视觉疲劳特性，左右视点图像融合图像质量5个方面提取参数作为客观评价依据，

其中，将立体图像从感知图像质量方面提取参数的方法为：

在传统的PSNR方法的基础上，考虑立体视觉感知的方法，在图像频率不同的地方设定不同的权重，具体提取方法为：设目标图像及其参考图像分别为f(x,y)和g(x,y),其图像分辨率均为M*N，则相对参考图像g(x,y)，目标图像f(x,y)的峰值信噪比PSNR为：

$\mathrm{PSNR}=101g\frac{f_{\max }^2}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[f(x,y)-g(x,y)]}^2}---\left(1\right)$

其中，f_max是图像最大值，

设定观察者从亮度、纹理和色度三个方面感知图像质量，由韦伯法则可得：视觉主观亮度s与光刺激强度I的对数成比例，即：其中，I_o为门限值，k为比例系数，则亮度对PSNR的系数为：

$s=k*1g\frac{1-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k}{\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k},$

其中，先将立体图分为n*n块，I_k为当前块中所有像素亮度值，

将纹理对PSNR的系数表示为：

$r=t*{\left(\frac{1}{\frac{\mathrm{MN}}{n^2}-1}\mathrm{\Σ}{(I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k)}^2\right)}^{\frac{1}{2}},$

其中，t为纹理细节影响系数，

设定人眼兴趣对PSNR的系数为：

其中，d₁、d₂是当前关注点到所在图像分块四条边界较小的横向像素点个数和较小的纵向像素点个数，结合定义的三个影响系数：s、r、p，改进后的PSNR，表示为FPSNR，它的值为：

$\mathrm{FPSNR}=101g\frac{\max {\{f(x,y)*[1+(s+r)*p\left]\right\}}^2}{\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{\{f(x,y)*[1+(s+r)*p]-g(x,y)*[1+(s+r)*p\left]\right\}}^2},$

其中，

$s=k*1g\frac{1-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k}{\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k},$

$r=t*{\left(\frac{1}{\frac{\mathrm{MN}}{n^2}-1}\mathrm{\Σ}{(I-\frac{n^2}{\mathrm{MN}}\mathrm{\Σ}{I}_k)}^2\right)}^{\frac{1}{2}},$

$p=2\frac{{(\frac{N}{n}-d_1)}^2+{(\frac{M}{n}-d_2)}^2}{\frac{\mathrm{MN}}{n^2}},$

则通过上述的FPSNR计算公式可提取出左右视图的感知图像质量FPSNR_left和FPSNR_right，

其中，将立体图像从深度感知方面提取参数的方法为：

计算立体图像对的匹配点，并根据绝对视差图的轮廓边缘估算应有的匹配点，根据其比例设定参数，具体包括：首先利用mean-shift方法计算待评价的立体图像对匹配点个数P₁，并根据绝对视差图的轮廓边缘估算应有的匹配点个数P₂，并利用mean-shift方法计算参考图像对匹配点个数作为P₂，则根据深度感知提取的参数即为：

$\mathrm{DEP}=10\frac{P_1}{P_2},$

其中，将立体图像从视差方面提取参数的方法为：

利用立体视觉感知的SSIM理论，使用无参考的结构相似度计算方法计算视差图参数，具体包括：结构相似性度量将失真建模为三个不同因素的组合：亮度i、对比度c和结构S，用均值作为亮度的估计，用标准差作为对比度的估计，用协方差作为结构的估计，则结构相似性度量定义为：

SSIM(X,Y)＝[i(X,Y)]^α[c(X,Y)]^β[S(X,Y)]^γ，

其中，使用基于图像分割和运动检测的双目视频深度计算的方法获得待评价立体图像对和参考立体图像对的视差图，根据视差提取的参数为：

$\mathrm{PSSIM}=\frac{1}{(M-1)(N-1)\mathrm{\Σ}{K}_i}\underset{i=1}{\overset{(M-1)(N-1)}{\mathrm{\Σ}}}{K}_i*\mathrm{SSIM}(X_i,Y_i),$

其中，计算视差图除了第一行，第一列，最后一行，最后一列之外的所有点，其中对于像素(m,n)，m，n表示当前像素横纵坐标，其K_i的值为：

K_i(m,n)＝|4x(m,n)-x(m-1,n)-x(m+1,n)-x(m,n-1)-x(m,n+1)|，

由此计算得根据视差提取的参数PSSIM，

将立体图像从视觉疲劳特性方面提取参数的方法为根据亮度和视差与视觉疲劳特性的关系，利用亮度梯度和视差梯度计算参数，具体包括：利用基于图像分割和运动估计的双目图像深度提取方法求取立体图像对的视差图，对一副M*N的视差图像，按照视差大小排序，视差最大的点为x₁，视差最小的点为x_MN，表征眼球运动的量其中d(x，y)表示x，y两点间距离的像素值，表征视差量大小的量而从视觉舒适度方面提取的参数为：

CVC＝EM*HP，

其中，将立体图像从左右视点图像融合图像质量提取参数的方法为：

利用基于图像分割和运动估计的双目图像深度提取方法求取立体图像对的视差图，再以双目图像匹配点信息为基础，设计DIBR(Depth Image BasedRendering,基于深度图渲染)参数，得到左右视点融合后的图像，再提取其FPSNR参数，其中，设计DIBR参数的方法为：利用双目图像匹配点信息为基础，对其中的视差进行插值计算，得出相邻图像每一像素应有的平移量的一半，根据这个平移量设计DIBR参数，然后再使用Inpainting方法进行空洞填充得到DIBR后的左右视点融合后的一幅图像，计算其FPSNR值，得到FPSNR_new，

将上述得到的五个参数进行线性组合以得到客观评价结果SCORE，具体包括：

SCORE＝λ₁(FPSNR_left+FPSNR_right)+λ₂DEP+λ₃PSSIM+λ₄CVC+λ₅FPSNR_new，其中，λ₁、λ₂、λ₃、λ₄、λ₅分别表示与其对应的参数的影响系数。

2.如权利要求1所述的基于机器学习的立体图像质量客观评价方法，其特征在于，步骤S2中利用图像库中的标准图像序列提取出的参数进行机器学习的方法为：利用支持向量机对图像分数和提取出的参数进行学习并对其进行拟合。

3.如权利要求1所述的基于机器学习的立体图像质量客观评价方法，其特征在于，步骤S4中将拟合结果运用于待评价图像并与主观评价分数进行对比的方法为：利用拟合出的线性结果作用于待检测图像，计算起客观评价分数，并与主观评价分数进行对比，并将此结果放入支持向量机中继续学习，更新拟合结果。