CN108389189A - 基于字典学习的立体图像质量评价方法 - Google Patents
基于字典学习的立体图像质量评价方法 Download PDFInfo
- Publication number
- CN108389189A CN108389189A CN201810126932.9A CN201810126932A CN108389189A CN 108389189 A CN108389189 A CN 108389189A CN 201810126932 A CN201810126932 A CN 201810126932A CN 108389189 A CN108389189 A CN 108389189A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- notable
- stereo
- image
- sift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 33
- 230000013016 learning Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 36
- 238000005457 optimization Methods 0.000 claims description 23
- 238000005119 centrifugation Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 8
- 210000001525 retina Anatomy 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004602 germ cell Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域，为得到一个与人眼主观感受相一致的立体图像质量评价方法，本发明基于字典学习的立体图像质量评价方法，利用参考立体图像对训练尺度不变特征变换SIFT字典和显著字典，SIFT字典具体是对参考立体图像对进行SIFT变换，利用SIFT特征来表示图像，并使用特征符号法和拉格朗日对偶法进行字典训练，得到SIFT字典；对稀疏系数矩阵进行处理得到相应的失真立体图像的质量Q1、相应的失真立体图像的质量Q2；最后将Q1、Q2进行结合得到失真立体图像对的最终的质量分数Q。本发明主要应用于图像处理场合。
Description
技术领域
本发明属于图像处理领域，涉及到立体图像质量评价方法的研究，以及人类视觉***中 的一些特性和稀疏编码，稀疏字典在立体图像客观评价中的应用。具体讲,涉及基于字典学习 的立体图像质量评价方法。
背景技术
立体图像/视频能够带给观看者身临其境的视觉体验，因此，立体图像/视频的产生、处理、 传输、显示和质量评价已成为立体成像技术的热点研究问题。但在立体成像技术的各个环节 不可避免的会产生一定的噪声，致使观看者产生视觉不舒适现象。设计一种***且有效的立 体图像/视频质量的评价方法用以说明立体成像技术各环节的正确性显得尤为重要。本文主要 研究由立体图像本身产生的视觉不舒适现象。立体图像质量评价有主观和客观两种评价方法。 主观评价更接近于人的真实感受，但费时费力。客观评价方法不受人主观因素的影响，具有 较好的稳定性和易操作性等优点。
截至目前，国内外学者已经提出了很多立体图像质量客观评价的算法。文献[1]Cardoso et al提出了一种评估立体图像质量的视差权重方法，该方法将左右视图的绝对差值图看作视差 图，并将其像素值看成是参考和失真立体图像对的权重调节因子。文献[2]Khan提出了一种 基于自然立体图像对的统计模型。描述了统计模型是怎样得出立体图像的评估质量，同时研 究了直接描述结构内容的亮度和视差子带之间的统计相关性。由于立体匹配算法的局限性， 直接采用视差信息评价立体图像质量，评价的准确性较低。在这篇文章中仅仅考虑了参考立 体图像对的视差图，避免了评估失真立体图像对的视差图的不精确性。
文献[3-5]表明神经编码的感知信息是由少部分激活神经元获得的，受该思想的启发提出 了图像的稀疏编码。文献[6]提出了基于稀疏表示的立体图像质量客观评价方法。文中对不同 频带的立体图像分别进行训练得到相应的字典，利用获得的字典对测试图像进行稀疏表示， 最后融合稀疏特征相似度得出立体图像质量分数。文献[7]提出了一个全参考立体图像质量评 价方法。模拟人眼特性学习多尺度字典，将稀疏能量和稀疏复杂度作为双目结合的基础计算 稀疏特征相似度和全局亮度相似性得到质量分数。文献[8]提出了一个基于稀疏的全参考立体 图像质量评价方法。将参考左图像和参考左视差图像作为训练字典的数据，训练了两个字典， 最后利用相应的字典对所得到的稀疏系数矩阵根据结构和非结构特性整合出失真立体图像的 质量分数。以上基于字典的两种方法都仅仅使用参考立体图像对的左视点作为训练字典的数 据，立体图像是左右视图在人类大脑中融合成一幅图像，如果仅仅使用左视点图像可能会丢 失一部分左视点图像所不具有的右视点图像信息，所以训练的字典可能不包含完整的立体信 息。文献[9]对人类视觉***进行研究表明，人类在观看图像时往往倾向于关注某些区域，该 区域称为显著性区域，此特性称为视觉显著性。文献[10]表明人眼在观看图像时往往倾向于 关注图像中央区域。目前还没有文献将视觉显著性特征与稀疏字典结合来评价立体图像质量。 因此，本文结合视觉显著性并考虑到立体图像的深度信息(既包含左视点信息又包含右视点 信息)，利用绝对差值图和一些显著特征来提取立体图像的显著图。为了能够更加符合人眼视 觉特性，本模型利用中央偏移和中心凹特性对其优化得到最终的显著立体图像作为训练字典 的输入数据。
发明内容
为克服现有技术的不足，得到一个与人眼主观感受相一致的立体图像质量评价方法，本 发明采用的技术方案是，基于字典学习的立体图像质量评价方法，利用参考立体图像对训练 了两个字典，尺度不变特征变换SIFT(Scale-invariant feature transform)字典和显著 字典，SIFT字典具体是对参考立体图像对进行SIFT变换，利用SIFT特征来表示图像，并使 用特征符号法(Feature-sign)和拉格朗日对偶法进行字典训练，得到SIFT字典；显著字典 具体是，首先结合绝对差值图得到初始立体视觉显著图，并采用符合人眼视觉机制的中央偏 移和中心凹特性对初始立体视觉显著图进行优化得到最终的显著图，提取参考立体图像对的 显著图，然后利用n×n的重叠块根据方差的大小值选取每幅显著图的前m个显著块作为训练 显著字典的源数据训练得到显著字典；在测试阶段，一方面对参考和失真立体图像对进行SIFT 变换后，结合训练好的SIFT字典进行稀疏编码得到参考和失真立体图像对的稀疏系数矩阵， 对稀疏系数矩阵进行处理得到相应的失真立体图像的质量Q1；另一方面对参考和失真立体图 像对进行显著性处理得到参考和失真立体显著图像，使用n×n不重叠的所有显著块作为输入 数据与显著字典相结合得到相应的参考和失真立体图像对的稀疏系数矩阵，对稀疏系数矩阵 进行处理得到相应的失真立体图像的质量Q2；最后将Q1、Q2进行结合得到失真立体图像对 的最终的质量分数Q。
采用立体显著图的质量来反映立体图像的质量，采用左右视图的绝对差值图来表示深度 信息，首先，提取图像的亮度、色度和纹理对比度特征来表示显著信息，结合绝对差值图获 得初始特征显著图，然后，利用中央偏移和中心凹特性对其进行优化获得最终的立体显著图。
进一步地：
(1)中央偏移
采用各向异性的高斯核函数来模拟注意力由中央向四周扩散的中央偏移CB(Center Bias) 因子：
CB(x,y)表示像素点(x,y)对中心点(x0,y0)的偏移信息，(x0,y0)表示失真右视点的中心点坐 标，(x,y)为像素点坐标，σh和σv分别表示图像水平方向和垂直方向的标准差,取 σh＝1/3W,σv＝1/3H，其中W和H表示图像的水平像素和垂直像素个数；
(2)中心凹
采用公式(2)所示函数进行特性模拟：
其中，e(x,y)表示像素点(x,y)的视网膜离心度，单位为度；f是空间频率，其单位是周/ 度；C0为对比度阈值；δ为空间频率衰减参数；e1为半分辨率离心度常数；
用最大类间方差法寻找使得立体显著图前景和背景差异最大的灰度值，该灰度值就是最 佳阈值，用该阈值将立体显著图分为显著区域和非显著区域，进而，利用像素与距其最近的 显著像素之间的空间距离关系计算视网膜离心度e(x,y)，假设任一像素坐标为(x,y),距其最 近的显著像素点坐标为(x1,y1)，则离心度e(x,y)由公式(3)求得：
其中，W为图像的水平像素数，v为观看距离，像素点(x,y)与像素点(x1,y1)的欧式距离：
字典训练具体步骤：固定字典和稀疏系数矩阵中的一个来求解另一个，然后进行迭代求 出合适的字典和稀疏系数矩阵：
公式(4)和公式(5)中X是输入信号，B是完备字典，S是稀疏系数矩阵。||·||F是F-范数， λ是正则化参数，||·||1是l1范数，Bi表示字典中的第i列原子，公式(4)是L1正则化优化问 题，典型的优化方法有最小角度回归法(LARS)、特征符号查找法Feature-sign(Feature-sign search Algorithm)，Feature-sign方法在每一步迭代中，通过猜测稀疏系数的符号，从而 将不可微分的凹问题变成无约束二次优化问题QP(QuadraticOptimization)；公式(5)是 典型的二次约束最小二乘优化问题，优化方法有QCQP凸优化法、迭代梯度下降法、拉格朗日 乘子法。
一个实例中，显著字典训练步骤具体是，利用8×8重叠的窗口对图像进行处理得到很多 8×8的小图像块，利用方差信息提取每幅显著图像的前3000个8×8的显著块，然后将所有 的显著块矢量化并组成一个矩阵作为字典训练的输入，每个显著块变成一个列向量，根据 feature-sign算法和拉格朗日对偶法进行迭代训练得到合适的稀疏显著字典，因为小图像块的 大小是8×8，所以本文显著字典的大小选择64×128。
SIFT字典字典的训练阶段具体地，以特征点为中心取16×16的邻域作为采样窗口，将 采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，每4×4的小块 上计算8个方向的梯度直方图，形成一个种子点，对每个关键点使用4×4共16个种子点来 描述，这样对于一个关键点就会获得4×4×8的128维的SIFT特征向量，根据特征维度本文 SIFT字典的大小选择128×1024。
在字典训练阶段获得显著字典和SIFT字典之后，利用获得的字典对失真图像进行测试， 对参考图像和测试图像进行预处理之后直接利用训练阶段得到的相应字典进行稀疏编码，使 用OMP算法获得参考立体图像对和失真立体图像对的稀疏系数矩阵，选择图像的稀疏性变 化作为立体图像质量评价的基础，分别对两个通道的参考立体图像对和失真立体图像对的稀 疏矩阵进行结合得到两个通道的立体图像质量分数Q1和Q2；最后对这两个通道的质量分数结 合得到最终的失真立体图像的质量分数Q。
质量评估Q值具体获取步骤：
根据失真图像的稀疏矩阵来评估失真图像的质量，分别表示参考和失真立体 对经过SIFT预处理后与SIFT字典结合进行稀疏编码的稀疏系数矩阵；分别表示 参考和失真立体对经过显著性预处理后与显著字典结合进行稀疏编码的稀疏系数矩阵；o表 示参考图像，d表示失真图像，l表示左图像，r表示右图像，1表示SIFT字典测试通道，2 表示显著字典测试通道；对于SIFT字典通道的测试左视图质量由公式(6)(7)(8)(9)求 得：
S(i,j)表示稀疏系数相似度指标，且S(i,j)值越接近于1，说明失真图像的失真程度越小， 和分别表示参考左图像稀疏矩阵和失真左图像稀疏矩阵(i,j)处的值，t，c是常 数，M表示稀疏矩阵的行数，N表示稀疏系数的列数，其中α+β＝1；类似的，求出SIFT 字典测试通道的测试右视图质量对于显著字典测试通道的左右测试立体图像质量分数， 同样利用公式(6)(7)(8)(9)分别得出和
利用权重几何将左右视图的质量分数结合在一起得到SIFT字典测试通道的立体图像质 量分数Q1以及显著字典测试通道的立体图像质量分数Q2，分别表示SIFT 字典测试通道和显著字典测试通道的失真立体图像对左右失真立体图像的稀疏矩阵的均方值， 对于权重的求解由公式(10)(11)得到：
根据求出的权重大小结合公式(12)得出两个通道的质量分数Q1和Q2；
最后，对于失真立体图像的质量分数Q为Q1和Q2的结合，如公式(13)
本发明的特点及有益效果是：
本发明对于两个公开的LIVE库中的不同失真类型的评价效果大部分都是很有效的，本 发明的评价结果与主观评价结果相关性较强，所得数据与主观数据之间的吻合度较好，能够 很好地反映立体图像质量，符合人眼的主观感受。
附图说明：
图1本文算法流程图。图中，(a)字典学习阶段Dictionary Learning Stage；(b)检测阶 段Test Stage。
图2立体显著图的获取过程。
具体实施方式
为了得到一个与人眼主观感受相一致的立体图像质量评价方法。本文提出了一个基于 SIFT特征和显著性的稀疏字典学习的立体图像质量评价方法。利用参考立体图像对训练了两 个字典，SIFT字典和显著字典。SIFT字典，对参考立体图像对进行SIFT变换，利用SIFT特 征来表示图像并使用Feature-sign和拉格朗日对偶法进行字典训练，得到SIFT字典；显著 字典，首先结合绝对差值图得到初始立体视觉显著图，并采用符合人眼视觉机制的中央偏移 和中心凹特性对初始立体视觉显著图进行优化得到最终的显著图。提取参考立体图像对的显 著图，然后利用8×8的重叠块根据方差的大小值选取每幅显著图的前3000个显著块作为训 练显著字典的源数据训练得到显著字典。本文算法在两个公开的LIVE库上做测试，得出LIVE I的PLCC值达到0.9429，SROCC值达到0.9383；在LIVE II上的PLCC值达到0.9116，SROCC 值达到0.9036。实验结果表明本算法的评价结果与主观评价结果有较好的相关性，更符合人 类视觉***感知。
本发明提出了一种基于字典学习的立体图像质量评价方法，分为两个阶段：训练字典阶 段和测试阶段。在训练字典阶段，训练了两个字典，一个是尺度不变特征变换(Scale-invariant feature transform，SIFT)字典，另一个是显著字典。SIFT字典，即 对参考立体图像对进行SIFT，利用SIFT描述子特征来代表图像作为字典训练的输入数据， 并使用Feature-sign和拉格朗日对偶法进行字典训练，得到SIFT字典。显著字典，首先提 取参考立体图像对的显著图，并利用中心凹和中央偏移进行优化得到最终的显著图；然后利用8×8的重叠块根据方差的大小值选取每幅显著图的前3000个显著块作为训练显著字典的 源数据，使用特征符号法(Feature-sign)和拉格朗日对偶法[11]进行字典训练，得到显著字 典。在测试阶段，一方面对参考和失真立体图像对进行SIFT变换后，结合训练好的SIFT字 典进行稀疏编码得到参考和失真立体图像对的稀疏系数矩阵，对稀疏系数矩阵进行处理得到 相应的失真立体图像的质量Q1；另一方面对参考和失真立体图像对进行显著性处理得到参考 和失真立体显著图像，使用8×8不重叠的所有显著块作为输入数据与显著字典相结合得到相 应的参考和失真立体图像对的稀疏系数矩阵，对稀疏系数矩阵进行处理得到相应的失真立体 图像的质量Q2。最后将两个通道得到的质量分数进行结合得到失真立体图像对的最终的质量 分数Q。
如图1所示为稀疏表示的立体图像质量评价算法流程图，分为两个阶段：字典学习阶段 和测试阶段。
下面将对各个步骤进行详细的分析：
1.立体显著性检测模型
立体图像要比单视点图像具有更多的信息量，人眼不可能在短时间内匹配所有的特征边 缘，大多数人只关注那些“重要区域”，然后提取这些区域中对象的边界，并最终匹配这些边 界形成立体视觉。根据人眼的立体视觉注意特性，观察者会对图像中显著区域的内容更为关 注[12]，因此，本文采用立体显著图的质量来反映立体图像的质量。立体图像相比于平面图像 需要考虑深度信息，所以本算法采用左右视图的绝对差值图来表示深度信息。首先，提取图 像的亮度、色度和纹理对比度特征来表示显著信息，结合绝对差值图获得初始特征显著图。 最后，利用中央偏移和中心凹等特性对其进行优化获得最终的立体显著图。
(1)中央偏移
所谓中央偏移(Center Bias，CB)特性，是指人眼在观看图像时总是倾向于从图像的中 心开始寻找视觉注视点，然后其注意力由中央向四周递减[10]。本文中采用各向异性的高斯核 函数[13]来模拟注意力由中央向四周扩散的中央偏移(CB)因子：
CB(x,y)表示像素点(x,y)对中心点(x0,y0)的偏移信息。(x0,y0)表示失真右视点的中心点坐 标，(x,y)为像素点坐标，σh和σv分别表示图像水平方向和垂直方向的标准差,本文取
σh＝1/3W,σv＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。
(2)中心凹
众所周知，视网膜光感受器的密度由中心凹向外周迅速降低[10][14]。因此，当图像映射到 视网膜上时，人眼对中心凹区域的空间频率分辨率较高，这部分区域就是人眼集中注视而且 能够更好分辨细节的区域，即显著区域；随着离心度e的增加，人眼的空间分辨率会降低。 研究表明对比度敏感度函数(Contrast Sensitivity Function,CSF)可以表示为离心度e的 函数[14]。本文用公式(2)所示函数模拟此特性：
其中，e(x,y)表示像素点(x,y)的视网膜离心度，单位为度(degree)；f是空间频率，其单 位是周/度(cycle/degree)；C0为对比度阈值；δ为空间频率衰减参数；e1为半分辨率离心度常数。 根据实验拟合结果[15]，取δ＝0.106,e1＝2.3,C0＝1/64。
用最大类间方差法寻找使得立体显著图前景和背景差异最大的灰度值，该灰度值就是最 佳阈值。用该阈值将立体显著图分为显著区域和非显著区域。进而，利用像素与距其最近的 显著像素之间的空间距离关系计算视网膜离心度e(x,y)。假设任一像素坐标为(x,y),距其最 近的显著像素点坐标为(x1,y1)。则离心度e(x,y)由公式(3)求得：
其中，W为图像的水平像素数，v为观看距离，本文取值为5(单位为图像宽度)，d为
像素点(x,y)与像素点(x1,y1)的欧式距离：
2字典学习
稀疏表示的目的是用少量“基原子”的加权线性组合来近似表示一个输入的信号向量。 对于字典训练，若同时求解字典B和稀疏系数S是非凸的优化问题，但是若求解其中一个则 是凸优化问题，因此字典训练时通常是固定其中一个来求解另一个，然后进行迭代求出合适 的字典和稀疏系数矩阵。
公式(4)和公式(5)中X是输入信号，B是完备字典，S是稀疏系数矩阵。||·||F是F-范数， λ是正则化参数，||·||1是l1范数，Bi表示字典中的第i列原子。公式(4)是L1正则化优化问 题，典型的优化方法有最小角度回归法(LARS)[16]、特征符号查找法(Feature-signsearch Algorithm)[11]等。Feature-sign方法在每一步迭代中，通过猜测稀疏系数的符号，从而将 不可微分的凹问题变成无约束二次优化问题(QP，Quadratic Optimization)，提高了运算速 度，也增加了在冗余字典中求解稀疏系数的准确性。公式(5)是典型的二次约束最小二乘优 化问题，典型的优化方法有QCQP凸优化法、迭代梯度下降法[17]、拉格朗日乘子法(Lagrange dual)[11]。迭代梯度下降法的缺点是收敛速度慢、耗时大，而Lagrange dual法是基于梯度 下降法中有效的方法。
本文根据feature-sign算法的思想进行稀疏编码，采用拉格朗日对偶法进行字典学习。 训练的样本要具有多样性和普遍性，因此，本文将LIVE库中的所有参考立体对作为训练样本。 这样可以使字典自动去学习立体图像的深度信息使得算法的结果更符合人眼主观感受，同时 使训练的字典更加准确。
2.1显著字典
如图1(a)所示字典的学习阶段。
按如图2的流程图对立体图像进行处理得到立体显著图之后，需要利用这些显著图训练 得到显著字典。由此得到的显著图可知一些不显著区域对立体图像质量的影响较小，因此， 在进行字典训练时可以忽略一部分的训练数据，这样既提高了字典训练的速度，又能保证训 练得到显著字典的质量。所以，需要考虑怎样排除一些不显著区域。文献[6]指出图像的方差 越大，所具有的结构信息越丰富。利用8×8重叠的窗口对图像进行处理得到很多8×8的小 图像块，本文利用方差信息提取每幅显著图像的前3000个8×8的显著块，然后将所有的显 著块矢量化并组成一个矩阵作为字典训练的输入，每个显著块变成一个列向量，根据 feature-sign算法和拉格朗日对偶法进行迭代训练得到合适的稀疏显著字典。因为小图像块 的大小是8×8，所以本文显著字典的大小选择64×128。
2.2 SIFT字典
如图1(a)所示字典的学习阶段。
SIFT，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出 关键点，是一种局部特征描述子。本文以特征点为中心取16×16的邻域作为采样窗口，将采 样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图。每4×4的小块上 计算8个方向的梯度直方图，形成一个种子点，对每个关键点使用4×4共16个种子点来描 述，这样对于一个关键点就会获得4×4×8的128维的SIFT特征向量。根据特征维度本文 SIFT字典的大小选择128×1024。
2.3.稀疏系数
图1(a)在字典训练阶段获得显著字典和SIFT字典之后，利用获得的字典对失真图像 进行测试。如图1(b)所示，对参考图像和测试图像进行预处理之后直接利用训练阶段得到 的相应字典进行稀疏编码，使用OMP[18]算法获得参考立体图像对和失真立体图像对的稀疏系 数矩阵。对于一副给定的图像，其对神经元的稀疏编码相对于不同失真类型的的图像是不同 的。因此，选择图像的稀疏性变化作为立体图像质量评价的基础。分别对两个通道的参考立 体图像对和失真立体图像对的稀疏矩阵进行结合得到两个通道的立体图像质量分数Q1和Q2； 最后对这两个通道的质量分数结合得到最终的失真立体图像的质量分数Q。
2.4.质量评估Q
根据失真图像的稀疏矩阵来评估失真图像的质量。分别表示参考和失真立体 对经过SIFT预处理后与SIFT字典结合进行稀疏编码的稀疏系数矩阵；分别表示 参考和失真立体对经过显著性预处理后与显著字典结合进行稀疏编码的稀疏系数矩阵；o表 示参考图像，d表示失真图像，l表示左图像，r表示右图像，1表示SIFT字典测试通道，2 表示显著字典测试通道。
对于SIFT字典通道的测试左视图质量由公式(6)(7)(8)(9)求得：
S(i,j)表示稀疏系数相似度指标，且S(i,j)值越接近于1，说明失真图像的失真程度越小。 和分别表示参考左图像稀疏矩阵和失真左图像稀疏矩阵(i,j)处的值，t，c是常 数。M表示稀疏矩阵的行数，N表示稀疏系数的列数，其中α+β＝1；类似的，求出SIFT 字典测试通道的测试右视图质量对于显著字典测试通道的左右测试立体图像质量分数， 同样利用公式(6)(7)(8)(9)分别得出和
利用权重几何将左右视图的质量分数结合在一起得到SIFT字典测试通道的立体图像质 量分数Q1以及显著字典测试通道的立体图像质量分数Q2。分别表示SIFT 字典测试通道和显著字典测试通道的失真立体图像对左右失真立体图像的稀疏矩阵的均方值。 对于权重的求解由公式(10)(11)得到：
根据求出的权重大小结合公式(12)得出两个通道的质量分数Q1和Q2；
最后，对于失真立体图像的质量分数Q为Q1和Q2的结合，如公式(13)
表1和表2是本文算法和文献[7]针对不同失真类型所得到的不同指标的数据结果。表3 给出了不同算法的总体性能比较结果。在表中加粗的数据为所有数据中相比较最好的数据。 根据表1和表2中的数据可以看出，本算法对于两个公开的LIVE库中的不同失真类型的评价 效果大部分都是很有效的，表中的PLCC和SROCC值大部分都是0.9以上，表明该方法的评价 结果与主观评价结果相关性较强。虽然本文算法在个别失真类型上的评价效果一般，但是总 体上而言，本文算法还是很有效的。如表3可以看出，根据不同算法之间的比较，本文算法 的实验结果较一些其他方法还是很有效的，所以本文算法所得数据与主观数据之间的吻合度 还是较好的。因此，本文所提出的方法能够很好地反映立体图像质量，符合人眼的主观感受。
表1 LIVE I数据库两种不同方法的性能比较
表2 LIVE II数据库两种不同方法的性能比较
表3不同评价方法的总体性能比较
下面结合附图和具体实施方式，进一步详细说明本发明。
1.立体显著性检测模型
立体图像要比单视点图像具有更多的信息量，人眼不可能在短时间内匹配所有的特征边 缘，大多数人只关注那些“重要区域”，然后提取这些区域中对象的边界，并最终匹配这些边 界形成立体视觉。根据人眼的立体视觉注意特性，观察者会对图像中显著区域的内容更为关 注[12]，因此，本文采用立体显著图的质量来反映立体图像的质量。立体图像相比于平面图像 需要考虑深度信息，所以本算法采用左右视图的绝对差值图来表示深度信息。首先，提取图 像的亮度、色度和纹理对比度特征来表示显著信息，结合绝对差值图获得初始特征显著图。 最后，利用中央偏移和中心凹等特性对其进行优化获得最终的立体显著图。
2.字典学习
2.1显著字典
如图1(a)所示字典的学习阶段。
按如图2的流程图对立体图像进行处理得到立体显著图之后，需要利用这些显著图训练 得到显著字典。由此得到的显著图可知一些不显著区域对立体图像质量的影响较小，因此， 在进行字典训练时可以忽略一部分的训练数据，这样既提高了字典训练的速度，又能保证训 练得到显著字典的质量。所以，需要考虑怎样排除一些不显著区域。文献[6]指出图像的方差 越大，所具有的结构信息越丰富。利用8×8重叠的窗口对图像进行处理得到很多8×8的小 图像块，本文利用方差信息提取每幅显著图像的前3000个8×8的显著块，然后将所有的显 著块矢量化并组成一个矩阵作为字典训练的输入，每个显著块变成一个列向量，根据 feature-sign算法和拉格朗日对偶法进行迭代训练得到合适的稀疏显著字典。因为小图像块 的大小是8×8，所以本文显著字典的大小选择64×128。
2.2SIFT字典
如图1(a)所示字典的学习阶段。
SIFT，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出 关键点，是一种局部特征描述子。本文以特征点为中心取16×16的邻域作为采样窗口，将采 样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图。每4×4的小块上 计算8个方向的梯度直方图，形成一个种子点，对每个关键点使用4×4共16个种子点来描 述，这样对于一个关键点就会获得4×4×8的128维的SIFT特征向量。根据特征维度本文 SIFT字典的大小选择128×1024。
3.稀疏系数
图1(a)在字典训练阶段获得显著字典和SIFT字典之后，利用获得的字典对失真图像 进行测试。如图1(b)所示，对参考图像和测试图像进行预处理之后直接利用训练阶段得到 的相应字典进行稀疏编码，使用OMP[18]算法获得参考立体图像对和失真立体图像对的稀疏系 数矩阵。对于一副给定的图像，其对神经元的稀疏编码相对于不同失真类型的的图像是不同 的。因此，选择图像的稀疏性变化作为立体图像质量评价的基础。分别对两个通道的参考立 体图像对和失真立体图像对的稀疏矩阵进行结合得到两个通道的立体图像质量分数Q1和Q2； 最后对这两个通道的质量分数结合得到最终的失真立体图像的质量分数Q。
4实验结果
4.1测试数据库和性能指标
本文测试数据库使用的是两个公开的LIVE数据库。LIVEI数据库包含365幅对称失真立 体图像对和20幅原始立体图像对，有五种失真类型，分别为JPEG、JP2K、Gblur、WN和FF。
LIVE II数据库包含对称和非对称失真立体图像对共360幅，LIVE II数据库中包含原始 立体图像对8幅，失真类型包括JPEG、JP2K、Gblur、WN和FF五种。
本文使用PLCC(pearson linear correlation coefficient)和SROCC(spearmanrank order correlation coeffcient)这两个评价指标来评价所提出模型的性能。PLCC和SROCC 的值越接近1，说明客观评价方法与主观评价方法的相关性越好。由于主观DMOS值与客观算 法质量分数所在区间不同，因此在计算相关系数时需要经过非线性逻辑映射，本文采用的是 五参数拟合得到本模型的立体图像质量的主观预测值。
4.2性能比较
表1和表2是本文算法和文献[7]针对不同失真类型所得到的不同指标的数据结果。表3 给出了不同算法的总体性能比较结果。在表中加粗的数据为所有数据中相比较最好的数据。 根据表1和表2中的数据可以看出，本算法对于两个公开的LIVE库中的不同失真类型的评价 效果大部分都是很有效的，表中的PLCC和SROCC值大部分都是0.9以上，表明该方法的评价 结果与主观评价结果相关性较强。虽然本文算法在个别失真类型上的评价效果一般，但是总 体上而言，本文算法还是很有效的。如表3可以看出，根据不同算法之间的比较，本文算法 的实验结果较一些其他方法还是很有效的，所以本文算法所得数据与主观数据之间的吻合度 还是较好的。因此，本文所提出的方法能够很好地反映立体图像质量，符合人眼的主观感受。
5.结论
本文提出了一种基于稀疏字典的立体图像质量评价方法，训练了两个字典，最后将两个 通道的质量进行结合得到最终的失真立体图像质量分数。为了保证字典的完备性，将原始参 考立体图像对当成字典训练的数据源，经过图像预处理训练得到显著字典和SIFT字典。将视 觉显著性加入到立体图像质量评价中，同时利用中心凹和中央偏移特性进行优化得到最终的 显著图，进而经过训练得到显著字典。实验结果表明了本文算法的性能较好，与主观评价值 相比较，模型预测结果较准确。
参考文献
[1]J.V.de Miranda Cardoso,C.D.M.Regis,and M.S.de Alencar,“Disparityweighting applied to full-reference and no reference stereoscopic imagequality assessment,”in 2015IEEE International Conference on ConsumerElectronics(ICCE),pp.477-480,Jan 2015.
[2]S.K.Md,B.Appina,and S.S.Channappayya,“Full-reference stereo imagequality assessment using natural stereo scene statistics,”IEEE SignalProcessing Letters,vol.22,pp. 1985-1989,Nov 2015.
[3]B.A.Olshausen et al.,“Emergence of simple-cell receptive fieldproperties by learning a sparse code for natural images,”Nature,vol.381,no.6583,pp.607-609,1996.
[4]B.A.Olshausen and D.J.Field,“Sparse coding of sensory inputs,”Current opinion in neurobiology,vol.14,no.4,pp.481-487,2004.
[5]P.Reinagel,“How do visual neurons respond in the real world？,”Current opinion in Neurobiology,vol.11,no.4,pp.437-442,2001.
[6]Li Kemeng,Shao Feng et al.The Method of Evaluating the ObjectiveQuality of Stereoscopic Images Based on Sparse Representation[J].Journal ofOptoelectronics laser,2014,25(11):
2227-2233.
李柯蒙,邵枫等.基于稀疏表示的立体图像客观质量评价方法[J].光电子激 光,2014,25(11):2227-2233.
[7]F.Shao,K.Li,W.Lin,G.Jiang,M.Yu,and Q.Dai,“Full-referencequalityassessment of stereoscopic images by learning binocular receptive fieldproperties,”IEEE Transactions on Image Processing,vol.24,pp.2971–2983,Oct2015.
[8]S.K.Md and S.S.Channappayya,“Sparsity Based Stereoscopic ImageQuality Assessment,”2016 50th Asilomar Conference on Signals,Systems andComputers,pp.1858-1862,2016.
[9]Tsotsos J K，Culhane S M，Wai W Y K，et al.Modelling Visual Attentionvia Selective Tuning.Artificial Intelligence，Oct.1995，78(1):507-545.
[10]Tseng P，Carmi R，Camerson I G M，et al.Quantifying center bias ofobservers in free viewing of dynamic natural scenes[J].Journal of Vision，2009，9(7):1-16.
[11]Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms[J].Advances in neural information processing systems,2007,19:801.
[12]WANG F.Visual saliency detection based on context andbackground.Dalian University of Technology,2013
(王飞.基于上下文和背景的视觉显著性检测.大连理工大学,2013)
[13]Le Meur O.,Le Callet,P.,Barba,et al.A coherent computationalapproach to model bottom-up visual attention[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on, 2006,28(5):802-817.
[14]ZhouWang,Ligang Lu,Alan Conrad Bovik.Foveation Scalable VideoCoding With Automatic Fixation Selection[J].IEEE TRANSACTIONS ON IMAGEPROCESSING, FEBRUARY 2003,12(2):243-254.
[15]W.S.Geisler and J.S.Perry,A real-time foveatedmultiresolutionsystem for low-bandwidth video communication,Proc.SPIE,vol.3299,pp.294–305,July 1998.
[16]Efron B,Hastie T,Johnstone I,et al.Least angle regression[J].TheAnnals of statistics,2004,32(2):407-499.
[17]Censor Y,Zenios S A.Parallel optimization:Theory,algorithms,andapplications[M].Oxford University Press on Demand,1997.
[18]R.Rubinstein,M.Zibulevsky,and M.Elad,“Efficient implementationofthe k-svd algorithm using batch orthogonal matching pursuit,”CSTechnion,vol.40,no.8,pp.1–15,2008.
Claims (8)
1.一种基于字典学习的立体图像质量评价方法，其特征是，利用参考立体图像对训练了两个字典，尺度不变特征变换SIFT(Scale-invariant feature transform)字典和显著字典，SIFT字典具体是对参考立体图像对进行SIFT变换，利用SIFT特征来表示图像，并使用特征符号法(Feature-sign)和拉格朗日对偶法进行字典训练，得到SIFT字典；显著字典具体是，首先结合绝对差值图得到初始立体视觉显著图，并采用符合人眼视觉机制的中央偏移和中心凹特性对初始立体视觉显著图进行优化得到最终的显著图，提取参考立体图像对的显著图，然后利用n×n的重叠块根据方差的大小值选取每幅显著图的前m个显著块作为训练显著字典的源数据训练得到显著字典；在测试阶段，一方面对参考和失真立体图像对进行SIFT变换后，结合训练好的SIFT字典进行稀疏编码得到参考和失真立体图像对的稀疏系数矩阵，对稀疏系数矩阵进行处理得到相应的失真立体图像的质量Q1；另一方面对参考和失真立体图像对进行显著性处理得到参考和失真立体显著图像，使用n×n不重叠的所有显著块作为输入数据与显著字典相结合得到相应的参考和失真立体图像对的稀疏系数矩阵，对稀疏系数矩阵进行处理得到相应的失真立体图像的质量Q2；最后将Q1、Q2进行结合得到失真立体图像对的最终的质量分数Q。
2.如权利要求1所述的基于字典学习的立体图像质量评价方法，其特征是，采用立体显著图的质量来反映立体图像的质量，采用左右视图的绝对差值图来表示深度信息，首先，提取图像的亮度、色度和纹理对比度特征来表示显著信息，结合绝对差值图获得初始特征显著图，然后，利用中央偏移和中心凹特性对其进行优化获得最终的立体显著图。
3.如权利要求1所述的基于字典学习的立体图像质量评价方法，其特征是，进一步地：
(1)中央偏移
采用各向异性的高斯核函数来模拟注意力由中央向四周扩散的中央偏移CB(CenterBias)因子：
CB(x,y)表示像素点(x,y)对中心点(x0,y0)的偏移信息，(x0,y0)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σh和σv分别表示图像水平方向和垂直方向的标准差,取σh＝1/3W,σv＝1/3H，其中W和H表示图像的水平像素和垂直像素个数；
(2)中心凹
采用公式(2)所示函数进行特性模拟：
其中，e(x,y)表示像素点(x,y)的视网膜离心度，单位为度；f是空间频率，其单位是周/度；C0为对比度阈值；δ为空间频率衰减参数；e1为半分辨率离心度常数；
用最大类间方差法寻找使得立体显著图前景和背景差异最大的灰度值，该灰度值就是最佳阈值，用该阈值将立体显著图分为显著区域和非显著区域，进而，利用像素与距其最近的显著像素之间的空间距离关系计算视网膜离心度e(x,y)，假设任一像素坐标为(x,y),距其最近的显著像素点坐标为(x1,y1)，则离心度e(x,y)由公式(3)求得：
其中，W为图像的水平像素数，v为观看距离，像素点(x,y)与像素点(x1,y1)的欧式距离：
4.如权利要求1所述的基于字典学习的立体图像质量评价方法，其特征是，字典训练具体步骤：固定字典和稀疏系数矩阵中的一个来求解另一个，然后进行迭代求出合适的字典和稀疏系数矩阵：
公式(4)和公式(5)中X是输入信号，B是完备字典，S是稀疏系数矩阵。||·||F是F-范数，λ是正则化参数，||·||1是l1范数，Bi表示字典中的第i列原子，公式(4)是L1正则化优化问题，典型的优化方法有最小角度回归法(LARS)、特征符号查找法Feature-sign(Feature-sign search Algorithm)，Feature-sign方法在每一步迭代中，通过猜测稀疏系数的符号，从而将不可微分的凹问题变成无约束二次优化问题QP(Quadratic Optimization)；公式(5)是典型的二次约束最小二乘优化问题，优化方法有QCQP凸优化法、迭代梯度下降法、拉格朗日乘子法。
5.如权利要求1所述的基于字典学习的立体图像质量评价方法，其特征是，一个实例中，显著字典训练步骤具体是，利用8×8重叠的窗口对图像进行处理得到很多8×8的小图像块，利用方差信息提取每幅显著图像的前3000个8×8的显著块，然后将所有的显著块矢量化并组成一个矩阵作为字典训练的输入，每个显著块变成一个列向量，根据feature-sign算法和拉格朗日对偶法进行迭代训练得到合适的稀疏显著字典，因为小图像块的大小是8×8，所以本文显著字典的大小选择64×128。
6.如权利要求5所述的基于字典学习的立体图像质量评价方法，其特征是，SIFT字典字典的训练阶段具体地，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，每4×4的小块上计算8个方向的梯度直方图，形成一个种子点，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就会获得4×4×8的128维的SIFT特征向量，根据特征维度本文SIFT字典的大小选择128×1024。
7.如权利要求5所述的基于字典学习的立体图像质量评价方法，其特征是，在字典训练阶段获得显著字典和SIFT字典之后，利用获得的字典对失真图像进行测试，对参考图像和测试图像进行预处理之后直接利用训练阶段得到的相应字典进行稀疏编码，使用OMP算法获得参考立体图像对和失真立体图像对的稀疏系数矩阵，选择图像的稀疏性变化作为立体图像质量评价的基础，分别对两个通道的参考立体图像对和失真立体图像对的稀疏矩阵进行结合得到两个通道的立体图像质量分数Q1和Q2；最后对这两个通道的质量分数结合得到最终的失真立体图像的质量分数Q。
8.如权利要求5所述的基于字典学习的立体图像质量评价方法，其特征是，质量评估Q值具体获取步骤：
根据失真图像的稀疏矩阵来评估失真图像的质量，分别表示参考和失真立体对经过SIFT预处理后与SIFT字典结合进行稀疏编码的稀疏系数矩阵；分别表示参考和失真立体对经过显著性预处理后与显著字典结合进行稀疏编码的稀疏系数矩阵；o表示参考图像，d表示失真图像，l表示左图像，r表示右图像，1表示SIFT字典测试通道，2表示显著字典测试通道；对于SIFT字典通道的测试左视图质量由公式(6)(7)(8)(9)求得：
S(i,j)表示稀疏系数相似度指标，且S(i,j)值越接近于1，说明失真图像的失真程度越小，和分别表示参考左图像稀疏矩阵和失真左图像稀疏矩阵(i,j)处的值，t，c是常数，M表示稀疏矩阵的行数，N表示稀疏系数的列数，其中α+β＝1；类似的，求出SIFT字典测试通道的测试右视图质量对于显著字典测试通道的左右测试立体图像质量分数，同样利用公式(6)(7)(8)(9)分别得出和
利用权重几何将左右视图的质量分数结合在一起得到SIFT字典测试通道的立体图像质量分数Q1以及显著字典测试通道的立体图像质量分数Q2，分别表示SIFT字典测试通道和显著字典测试通道的失真立体图像对左右失真立体图像的稀疏矩阵的均方值，对于权重的求解由公式(10)(11)得到：
根据求出的权重大小结合公式(12)得出两个通道的质量分数Q1和Q2；
最后，对于失真立体图像的质量分数Q为Q1和Q2的结合，如公式(13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810126932.9A CN108389189B (zh) | 2018-02-08 | 2018-02-08 | 基于字典学习的立体图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810126932.9A CN108389189B (zh) | 2018-02-08 | 2018-02-08 | 基于字典学习的立体图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108389189A true CN108389189A (zh) | 2018-08-10 |
| CN108389189B CN108389189B (zh) | 2021-05-14 |
Family
ID=63074570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810126932.9A Expired - Fee Related CN108389189B (zh) | 2018-02-08 | 2018-02-08 | 基于字典学习的立体图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108389189B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887023A (zh) * | 2019-01-11 | 2019-06-14 | 杭州电子科技大学 | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 |
| CN110706196A (zh) * | 2018-11-12 | 2020-01-17 | 浙江工商职业技术学院 | 基于聚类感知的无参考色调映射图像质量评价算法 |
| CN111833323A (zh) * | 2020-07-08 | 2020-10-27 | 哈尔滨市科佳通用机电股份有限公司 | 基于稀疏表示与svm的分任务铁路货车图像质量判断方法 |
| CN112597916A (zh) * | 2020-12-24 | 2021-04-02 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
| CN112686847A (zh) * | 2020-12-23 | 2021-04-20 | 平安银行股份有限公司 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
| WO2022126674A1 (zh) * | 2020-12-19 | 2022-06-23 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134204A (zh) * | 2014-07-09 | 2014-11-05 | 中国矿业大学 | 一种基于稀疏表示的图像清晰度评价方法和装置 |
| CN104581143A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种基于机器学习的无参考立体图像质量客观评价方法 |
| CN106162162A (zh) * | 2016-08-01 | 2016-11-23 | 宁波大学 | 一种基于稀疏表示的重定位图像质量客观评价方法 |
| CN106504236A (zh) * | 2016-10-20 | 2017-03-15 | 天津大学 | 基于稀疏表示的无参考立体图像质量客观评价方法 |
| CN106780432A (zh) * | 2016-11-14 | 2017-05-31 | 浙江科技学院 | 一种基于稀疏特征相似度的立体图像质量客观评价方法 |
-
2018
- 2018-02-08 CN CN201810126932.9A patent/CN108389189B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134204A (zh) * | 2014-07-09 | 2014-11-05 | 中国矿业大学 | 一种基于稀疏表示的图像清晰度评价方法和装置 |
| CN104581143A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种基于机器学习的无参考立体图像质量客观评价方法 |
| CN106162162A (zh) * | 2016-08-01 | 2016-11-23 | 宁波大学 | 一种基于稀疏表示的重定位图像质量客观评价方法 |
| CN106504236A (zh) * | 2016-10-20 | 2017-03-15 | 天津大学 | 基于稀疏表示的无参考立体图像质量客观评价方法 |
| CN106780432A (zh) * | 2016-11-14 | 2017-05-31 | 浙江科技学院 | 一种基于稀疏特征相似度的立体图像质量客观评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIUPING JIANG: ""Supervised dictionary learning for blind image quality assessment"", 《VCIP》 * |
| 高影: ""基于联合字典的无参考真实失真图像的质量评价"", 《光电子·激光》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706196A (zh) * | 2018-11-12 | 2020-01-17 | 浙江工商职业技术学院 | 基于聚类感知的无参考色调映射图像质量评价算法 |
| CN110706196B (zh) * | 2018-11-12 | 2022-09-30 | 浙江工商职业技术学院 | 基于聚类感知的无参考色调映射图像质量评价算法 |
| CN109887023A (zh) * | 2019-01-11 | 2019-06-14 | 杭州电子科技大学 | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 |
| CN109887023B (zh) * | 2019-01-11 | 2020-12-29 | 杭州电子科技大学 | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 |
| CN111833323A (zh) * | 2020-07-08 | 2020-10-27 | 哈尔滨市科佳通用机电股份有限公司 | 基于稀疏表示与svm的分任务铁路货车图像质量判断方法 |
| WO2022126674A1 (zh) * | 2020-12-19 | 2022-06-23 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、*** |
| CN112686847A (zh) * | 2020-12-23 | 2021-04-20 | 平安银行股份有限公司 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
| CN112686847B (zh) * | 2020-12-23 | 2024-05-14 | 平安银行股份有限公司 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
| CN112597916A (zh) * | 2020-12-24 | 2021-04-02 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
| CN112597916B (zh) * | 2020-12-24 | 2021-10-26 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108389189B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633513B (zh) | 基于深度学习的3d图像质量的度量方法 | |
| CN108389189A (zh) | 基于字典学习的立体图像质量评价方法 | |
| CN110322423B (zh) | 一种基于图像融合的多模态图像目标检测方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN110148104B (zh) | 基于显著性分析与低秩表示的红外与可见光图像融合方法 | |
| WO2018023734A1 (zh) | 一种3d图像的显著性检测方法 | |
| CN109360178A (zh) | 基于融合图像的无参考立体图像质量评价方法 | |
| CN103295025B (zh) | 一种三维模型最优视图的自动选择方法 | |
| CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
| CN113782190B (zh) | 基于多级时空特征和混合注意力网络的图像处理方法 | |
| CN108765414A (zh) | 基于小波分解和自然场景统计的无参考立体图像质量评价方法 | |
| CN109710804B (zh) | 一种教学视频图像知识点降维分析方法 | |
| CN109523513A (zh) | 基于稀疏重建彩色融合图像的立体图像质量评价方法 | |
| CN108460400A (zh) | 一种结合多种特征信息的高光谱图像分类方法 | |
| CN109657704B (zh) | 一种基于稀疏融合的核化场景特征提取方法 | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN108470178A (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| Yang et al. | No-reference stereoimage quality assessment for multimedia analysis towards Internet-of-Things | |
| Karimi et al. | Blind stereo quality assessment based on learned features from binocular combined images | |
| Pan et al. | DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion | |
| CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
| CN106384364A (zh) | 一种基于lpp‑elm的立体图像质量客观评价方法 | |
| Junhua et al. | No-reference image quality assessment based on AdaBoost_BP neural network in wavelet domain | |
| CN108932532A (zh) | 一种针对视频显著性图预测所需的眼动数据数目建议方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210514 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |