CN107679543A - 稀疏自动编码器与极限学习机立体图像质量评价方法 - Google Patents

稀疏自动编码器与极限学习机立体图像质量评价方法 Download PDF

Info

Publication number
CN107679543A
CN107679543A CN201710096995.XA CN201710096995A CN107679543A CN 107679543 A CN107679543 A CN 107679543A CN 201710096995 A CN201710096995 A CN 201710096995A CN 107679543 A CN107679543 A CN 107679543A
Authority
CN
China
Prior art keywords
msub
mrow
mtd
image
elm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710096995.XA
Other languages
English (en)
Inventor
李素梅
段志成
张博洋
雷国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710096995.XA priority Critical patent/CN107679543A/zh
Publication of CN107679543A publication Critical patent/CN107679543A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nonlinear Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，为提出实现更加准确有效的评价立体图像质量，同时在一定程度上推动立体成像技术的发展。本发明采用的技术方案是，稀疏自动编码器与极限学习机立体图像质量评价方法，首先采用深度学习的预训练特征提取方式对原始立体图像进行预处理，得到相应的图像特征；然后将得到的图像特征代替原始图像作为神经网络分类器的输入数据，以减少原始立体图像复杂度对数据处理的影响，神经网络分类器的输出则为相应图像的主观评价标签，以此建立整个神经网络的输入与输出之间的对应关系并确定整个神经网络结构；最后将测试图像数据的特征作为整个神经网络的输入，以得到相应测试样本的测试准确率。本发明主要应用于图像处理。

Description

稀疏自动编码器与极限学习机立体图像质量评价方法
技术领域
本发明属于图像处理领域，涉及立体图像质量评价方法改进优化，尤其是涉及神经网络 在立体图像质量客观评价中的应用。涉及稀疏自动编码器与极限学习机立体图像质量评价方 法。
背景技术
随着科学技术和计算机图像处理水平的日益提升，人们对于三维立体世界的探索越来越 深入，三维立体成像技术[1]的应用也越来越广泛，传统的2D平面图像[2-5]已经很难满足人们 日益增长的视觉需求，因而3D图像和视频的迅速发展成为了计算机图形学技术革新的主要 趋势。立体成像技术不仅与电影业或其他娱乐行业密切相关，还广泛应用于科学研究、建筑 设计、医学处理、军事等领域，因而对于立体成像技术的研究具有十分重要的意义。为此， 通过算法模拟建立高效并且稳定的立体图像质量客观评价***是具有重要价值的。怎样才能 稳定高效地评价立体图像的质量已成为国内外立体成像领域研究机构所关注的热点问题之一。
立体图像质量评价方法可以分为两类：主观评价方法和客观评价方法。通过大量的人员 对立体内容做出质量评价的方法为主观评价方法。由于该方法是直接由人来做出评价，所以 能够准确的反应人类的视觉体验，然而主观质量由于需要组织相关测试人员进行主观评价实 验并设计实验流程，花费时间长、成本较高，实际评价过程中也容易受到外部环境、被试者 情绪和疲劳度的影响，因而实际操作中的实时性和有效性受到制约。
客观质量评价方法是通过相关算法提取立体图像的特征信息，构建网络模型或利用相关 算法对立体图像特征信息进行训练和分析，然后根据训练好的客观评价模型对立体图像进行 质量等级评分，从而得出最终的评价结果，能够有效的弥补主观评价方法的不足。最初相关 领域的研究人员大多都是直接将传统的2D图像的质量评价方法应用于立体图像质量评价中。 其中典型的2D图像质量评价方法有峰值信噪比(PSNR)[6]、均方误差(MSE)、质量结构相 似度(SSIM)[7]以及在此类方法基础上改进的算法如图像质量指标(UQI)[8]、信息内容加 权的峰值信噪比(IW-PSNR)[9]、基于边缘的结构相似度(ESSIM)[10]等。但是此类方法仅 仅考虑了平面图像的特性，没有加入对图像立体感有影响的因素，与人眼对立体图像的视觉 感受不符，因而在平面图像质量评价的基础上进行立体图像质量评价的方法还有待改进和完 善。
由于采用平面图像评价参数进行立体图像质量评价效果不甚理想，相关的研究人员考虑 加入能够反映立体视觉的因素，例如立体图像深度信息、视差信息等，以不同方式对这些影 响因素进行融合，从而达到提升立体图像质量评价效果的目的。文献[11]融合了立体图像中 的深度特性、结构特性和梯度特性，经过实验后得到的结果与主观评价有较高的一致性。文 献[12]将结构相似度和立体图像深度信息进行线性组合得到相应的立体图像质量评价得分； 文献[13]考虑到人类在观看外部事物时具有的生理特性和心理特性，结合结构相似度方法 提出了改进SSIM的算法；文献[14]提出了一种将视差信息进行加权处理的立体图像客观 评价算法，并在实验中采用相应的立体图像数据库对算法性能进行评估，结果发现加入了视 差信息的评价算法能够实现更好的评价效果；文献[15]在传统平面图像质量评价考虑因素 中加入了人类的双目融合特性，提出了一种改进的立体图像质量评价方法。
以上文献所提出的方法主要是基于人类视觉***(Human Visual System，HVS)的评价方法， 近年来人们对于人类视觉***进行了一系列深入的探索，但由于人眼***比较复杂，人类对 于HVS的认识仍然比较肤浅，因而基于人类视觉***的评价方式与人眼的主观感受无法完 全一致。因此一些研究人员提出采用能够模拟人类大脑的神经网络方式进行立体图像质量评 价，并取得了良好的效果。文献[16]首先通过独立成分分析(Independent Component Analysis， ICA)提取立体图像的有效特征，然后通过基于二叉树的支持向量机(Binary Tree Support Vector machine，BT-SVM)算法提出了一种应用在立体图像质量客观评价上的分类器，能够 分类识别不同立体图像的质量；文献[17]考虑到传统神经网络学习速度慢、泛化能力差等 缺点，首先通过主成分分析(PrincipalComponent Analysis,PCA)进行原始图像的预处理，然后 引入了极限学习机(ExtremeLearning Machine,ELM)[18-20]对立体图像质量进行客观评价。虽然 该模型能够得到不错的分类识别率，但单隐层网络的稳定性和泛化能力较差，特征提取的方 法依赖于更具体的先验知识，同时由于ELM网络的初始参数即输入权重和阈值随机给定， 对于具有相同隐藏层神经元个数的ELM网络，随机初始化的参数会导致网络的性能有较大 的差异，使网络具有不稳定性。
近年来，深度学习(Deep Learning，DL)[21-23]成为机器学习和神经网络相关领域的又一 研究热点，它主要采用分层训练的方式对不同层数据进行预处理，该预处理通过学习无标签 数据得到相应的特征，即根据人脑深层次处理数据的方式对原始数据内部结构和关系得到层 次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳 定性和泛化能力也有一定的提高。
文献[24]中构建深度卷积神经网络，使用了ReLU激活函数和Dropout等技巧，在高挑战 的数据库中纯粹地使用监督学***的表示。
图像质量评价算法的发展对立体图像的发展有着重要的意义。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于极限学习机(ELM)的方法，并在此 方法的基础上结合深度学习结构稀疏自动编码器(SAE)构造了一种新的立体图像质量评价 方法。本发明提出的算法更加准确有效的评价立体图像质量，同时在一定程度上推动立体成 像技术的发展。本发明采用的技术方案是，稀疏自动编码器与极限学习机立体图像质量评价 方法，首先采用深度学习的预训练特征提取方式对原始立体图像进行预处理，得到相应的图 像特征；然后将得到的图像特征代替原始图像作为神经网络分类器的输入数据，以减少原始 立体图像复杂度对数据处理的影响，神经网络分类器的输出则为相应图像的主观评价标签， 以此建立整个神经网络的输入与输出之间的对应关系并确定整个神经网络结构；最后将测试 图像数据的特征作为整个神经网络的输入，以得到相应测试样本的测试准确率。
神经网络的分类器是利用极限学习机ELM的分类功能，通过主观实验将不同质量等级 的立体图像与其相应的主观标签即主观实验图像评价分值一一对应，然后通过训练样本建立 ELM网络模型，将立体图像按不同质量等级分类。
ELM的具体步骤：设置图像训练集{(Xi,Ti)|Xi∈Rn,Ti∈Rm,i＝1,2,…,N}，其中表示输入数据，xij表示第i层的第j个节点的输入值,j∈1,2,...,n，期 望输出值由表示，tij,j∈1,2,...,m表示第i层的第j个节点的期望输出值， Rn表示n维实向量，Rm表示m维实向量，隐层激活函数g(x)和隐层节点数L；
1)随机赋予初始输入权重wj和隐层偏移量bj，j＝1,2,…,L，wj和bj均在[-1,1]之间；
2)根据公式(3)计算隐藏层输出矩阵H；
给定的N个不同样本集合(Xi,Ti)，把含有L个隐藏层节点和激励函数为g(x)的单隐层前 馈神经网络表示为：
其中wj＝[wj1,wj2,…,wjn]T为第j个隐藏层神经元和输入神经元之间的权重；而隐层神经 元和输出神经元之间的权重由βj＝[βj1,βj2,…,βjm]T表示；bj是第j个隐层节点的偏移量； wj·Xi表示二者的內积；
3)根据最小二乘法计算输出权重 其中表示H矩阵的广义逆矩阵。
稀疏自动编码器的目标函数表示为：
其中X为原始输入数据，φi为目标基向量，ai为向量的系数，系数ai稀疏的含义是只需 很少的几个非零向量就能够表达原始的输入数据，即让大多数的基向量系数为零，S(ai)表示 稀疏代价函数，用于对远大于零的系数ai进行惩罚，λ则是用于控制误差项和惩罚项相对重 要性的权值，l1表示代价函数S(ai)的L1范式，虽然数据稀疏性标准范式是L0范式的目标函数 非凸，无法采用凸优化等有效优化方法求解，因此利用L1范式代替L0范式求近似的稀疏解。
在一个实例中，神经网络采用3个隐藏层的深度结构，其中Layer1、Layer2为预训练 阶段的特征学习层，Layer3为分类阶段ELM的隐藏层，分类器的输出与主观评价标签相比 较，得到最终的测试准确率，ELM稀疏自动编码器的目标函数：
其中X为输入数据，H为隐层输出矩阵，β为神经元输出权重，λ为控制权重，为了表示方便将公式(8)表示为：
Oβ＝p(β)+q(β) (9)
其中，p(β)＝||X-Hβ||2，采用快速迭代阈值法进行求解，最小化复杂度 为O(1/j2)的光滑凸函数，其中j表示迭代次数，迭代完后最终得到的神经元输出权重β即为 ELM稀疏自动编码器的最优权重；
Hi＝g(Hi-1·β) (11)
其中Hi为第i层的隐层输出矩阵，Hi-1为第(i-1)层的隐层输出矩阵，g(·)表示隐层激活 函数，β为神经元输出权重,已知第(i-1)层的隐层输出矩阵Hi-1时，由ELM结构及公式(8) 可得第i层输出矩阵Hi，进而依次得到每层的输出矩阵，最后分类器的输出权重由得到，其中βclassfication为分类层输出权重，H为分类器的隐层输出矩阵，T为数据标签，至此完成整体网络的训练；
当整体网络训练好后，将测试图片的特征作为整体网络的输入，之后分类器给出测试图 片的分数，并将分类器给出的分数与对应的主观评价标签相比较，得出最终的测试准确率， 这一过程即为对立体图形进行质量评价。
快速迭代阈值法的具体步骤如下：
1)计算光滑凸函数的梯度的利普希兹常数γ；
2)设置初始值y1＝β0∈Rn,t1＝1，并随着j(j≥1)的增加开始迭代；
3)βj＝sγ(yj)，其中sγ为：
4)
5)
通过上述迭代步骤的计算，迭代完后最终得到的神经元输出权重β即为ELM稀疏自动编 码器的最优权重。
本发明的特点及有益效果是：
实验结果及数据对比表明，ELM、GA-ELM以及本发明提出的D-ELM所得结果与主观评价结果有更好的一致性。这说明在立体图像质量评价方面基于极限学习机的方法更符合人 类的观看体验。由客观评价方法SVM所得结果与主观评价结果一致性最差，本文所提方法 D-ELM所得结果与主观评价结果具有最好的一致性；客观评价方法ELM和GA-ELM的评价性能稍微比SVM好一些，且仅次于本文所提客观质量评价方法D_ELM的性能。通过以上各 种立体图像质量评价方法性能对比，我们可以发现在立体图像质量评价方面基于极限学习机的方法更接近人类做出的主观评价，而在基于极限学习机的立体图像质量评价方法中本发明 所提方法D_ELM的评价结果与人类主观评价结果最接近，这说明基于极限学习机和深度学 习有利于提高立体图像质量评价方法的可靠性和准确性，同时也说明选择合适的特征提取以 及分类器对改善立体图像质量评价方法的性能至关重要。
附图说明：
图1基于稀疏编码器以及极限学习机的立体图像质量评价方法流图。
图2极限学习机(ELM)网络。
图3稀疏自动编码器结构。
图4发明提出的D-ELM框架。
图5 source flower-花的源图像。
图6 source river-河流的源图像。
图7 source family-家庭的源图像。
图8 source girl-姑娘的源图像。
图9 degraded flower-花的失真立体图像。
图10 degraded river-河流的失真立体图像。
图11 degraded family-家庭的失真立体图像。
图12 degraded girl-姑娘的失真立体图像。
图13不同隐藏节点个数对测试准确率的影响(Lk表示第k层，k＝1,2,3)。
图14 D-ELM和ELM经多次测试的准确率变化。图中：a、b、c、d、e分别是L3隐节 点数为98、99、100、101、102时ELM和D_ELM的分类识别率。
具体实施方式
本发明提出了基于深度学习结构稀疏自动编码器与极限学习机的立体图像质量评价方法。 该方法首先将立体图像的原始数据经过稀疏自动编码器的特征学习后得到更加抽象的深层特 征，然后，将这些特征作为极限学习机(ELM)的输入实现分类；其次，在分类器的输出端得 出立体图像质量的评价结果；最后，将得到的结果与主观评价结果相比较后给出分类错误率。
具体步骤如下：
首先采用深度学习的预训练特征提取方式对原始立体图像进行预处理，得到相应的图像 特征；然后将得到的图像特征代替原始图像作为神经网络分类器的输入数据，以减少原始立 体图像复杂度对数据处理的影响，网络的输出则为相应图像的主观评价标签，以此建立网络 的输入输出对应关系并确定网络结构；最后将测试图像数据的特征输入网络，得到相应测试 样本的测试准确率。
一极限学习机ELM
极限学习机(Extreme Learning Machine，ELM)是由Huang[18-20]等人提出的一种单隐层前 馈神经网络(SLFNs)，是一种不同于其他传统神经网络的算法，它通过随机赋予网络权值和 隐藏层节点偏移量并利用最小二乘法得到网络输出权重以建立网络模型，克服了传统网络训 练速度慢、泛化能力不足等问题。
图2为极限学习机的网络结构图，从图中可以看到，该网络主要由输入层、隐藏层和输 出层所组成的单层网络模型。
本发明主要是利用了ELM的分类功能，通过主观实验将不同质量等级的立体图像与其相 应的主观标签(即主观实验图像评价分值)一一对应。然后通过训练样本建立ELM网络模型， 将立体图像按不同质量等级分类。
实现的ELM分类功能具体的算法流程为：给定N个不同样本集合(Xi,Ti)，其中表示输入数据，xij,j∈1,2,...,n表示第i层的第j个节点的输入值，期 望输出值由表示，tij,j∈1,2,...,m表示第i层的第j个节点的期望输出值， 可以把含有L个隐藏层节点和激励函数为g(x)的单隐层前馈神经网络表示为：
其中wj＝[wj1,wj2,…,wjn]T为第j个隐藏层神经元和输入神经元之间的权重；而隐层神经 元和输出神经元之间的权重由βj＝[βj1,βj2,…,βjm]T表示；bj是第j个隐层节点的偏移量； wj·Xi表示二者的內积，公式(1)写成矩阵形式为：
Hβ＝T (2)
其中H为神经网络的隐层输出矩阵：
其中表示第j层的m个节点的期望输出值向量。
由公式(2)可知，若H和T已知，则极限学习机的学习过程就是根据Hβ＝T求得输出权重β。ELM在传统神经网络的基础上，考虑了网络的输出权值β及网络的训练残差||Hβ-T||， 网络结构的最终确定是根据最小二乘法计算出最优的网络输出权重其中表示H 矩阵的广义逆矩阵。
综上，ELM算法可分为以下步骤：
设置图像训练集{(Xi,Ti)|Xi∈Rn,Ti∈Rm,i＝1,2,…,N}，隐层激活函数g(x)和隐层节点数 L。
1)随机赋予初始输入权重wj和隐层偏移量bj，j＝1,2…,L，wj和bj均在[-1,1]之间。
2)根据公式(3)计算隐藏层输出矩阵H。
3)根据最小二乘法计算最优输出权重
二稀疏自动编码器SAD
稀疏自动编码器[27]是在深度学习经典结构自动编码器中加入稀疏性限制而出现的变形结 构，具有良好的学习样本数据特征的能力。本发明首先利用经典的稀疏自动编码器算法对输 入数据进行分层特征提取。算法结合了自动编码器与稀疏编码，可以更好地表达原始数据， 达到特征学习的目的。正是由于传统ELM单隐层网络稳定性较差，样本集或其他参数发生微 小改变，测试结果都会发生较大的变化。受深度学习预训练的启发，本发明提出深度极限学 习机算法(D-ELM)，将立体图像的原始数据经过稀疏自动编码器的特征学习后得到更加抽象 的深层特征，再将这些特征作为ELM分类器的输入实现分类，最后在分类器的输出端得出立 体图像质量评价的结果。
图3为稀疏自动编码器结构图，从图中可以看到主要由自动编码器与稀疏编码两部分组 成。
(一)自动编码器
自动编码器是深度学习的一种常用模型[28]。设未带标签的训练样本集合x(x∈[0,1])，通过 公式(5)将输入x转变为激活值y(y∈[0,1])：
y＝hθ(x)＝g(Wx+b) (5)
其中g为非线性函数，如sigmoid函数。{W,b}为参数集合，然后通过公式(6)将激活值y反变换为对于原始输入x的重建表示z：
z＝hθ'(y)＝g(W'y+b') (6)
其中公式(5)、(6)中的W、W'满足W'＝WT，{W',b'}为参数集合，通过对参数{W',b'}的调整使平均重建误差L(x,z)＝||x-z||2达到最小，即对原始输入进行了很好的重构，可以认 为它保留了原始数据的大部分信息，是原始数据的一种更高级的特征表示。然后通过多层自 动编码器的堆叠，将上一层产生的特征直接作为这一层的输入，从而产生更高级、更抽象的 特征，达到特征学习的目的。
(二)稀疏编码
自动编码器中当隐藏节点数过少，隐藏节点就需要对原始输入进行压缩，当输入为随机 高斯序列时，对原始输入提取特征就会变得困难；如果隐藏节点数量很大，甚至比输入层节 点数量还要多时，这种情况仍然可以使用自动编码器，只需要加入稀疏性约束，即构成稀疏 编码器。核心思想是对隐层进行约束，使其变得稀疏，这样能迫使神经元发挥最大潜力，使 自动编码器学习到更复杂的非线性函数，从而得到更好的特征表示。
稀疏编码[29]算法是一种无监督的学习方法，它的基本思想是：采用基于学习得到的基向 量集合来重建输入信号，将输入信号表示为基向量的线性组合，要求重建后的信号逼近输入 信号，且线性组合上的基的系数是稀疏的，其目标函数可表示为：
其中X为原始输入数据，φi为目标基向量，ai为向量的系数，系数ai稀疏的含义是只需 很少的几个非零向量就能够表达原始的输入数据，即让大多数的基向量系数为零。选择具有 稀疏性的分量来表达输入数据是因为大多数感官数据可以被看成是少数基本元素的叠加(如 自然图像中的面或线)。S(ai)表示稀疏代价函数，用于对远大于零的系数ai进行惩罚，λ则 是用于控制误差项和惩罚项相对重要性的权值，l1表示代价函数S(ai)的L1范式[30]，虽然数据 稀疏性标准范式是L0范式的目标函数非凸，无法采用凸优化等有效优化方法求解，因此利用 L1范式代替L0范式求近似的稀疏解。可以看到稀疏编码算法的目标函数与自动编码器的代价 函数L(x,z)＝||x-z||2之间的区别是对重建误差进行了修改并加入了约束项
三立体图像质量
如图4所示，采用3个隐藏层的深度结构，其中Layer1、Layer2为预训练阶段的特征学习层，Layer3为分类阶段ELM的隐藏层。分类器的输出与主观评价标签相比较，得到最 终的测试准确率。ELM稀疏自动编码器的目标函数：
其中X为输入数据，H为隐层输出矩阵，β为神经元输出权重，λ为控制权重，这里取1，为了表示方便也可将公式(8)表示为：
Oβ＝p(β)+q(β) (9)
其中，p(β)＝||X-Hβ||2，本发明中采用快速迭代阈值法[31]进行求解，该 算法能够最小化复杂度为O(1/j2)的光滑凸函数，其中j表示迭代次数，算法的具体步骤如下：
6)计算光滑凸函数的梯度的利普希兹常数γ；
7)设置初始值y1＝β0∈Rn,t1＝1，并随着j(j≥1)的增加开始迭代；
8)βj＝sγ(yj)，其中sγ为：
9)
10)
通过上述迭代步骤的计算，迭代完后最终得到的神经元输出权重β即为ELM稀疏自动编 码器的最优权重。
由图4结构可知：
Hi＝g(Hi-1·β) (11)
其中Hi为第i层的隐层输出矩阵，Hi-1为第(i-1)层的隐层输出矩阵，g(·)表示隐层激活 函数，已知第(i-1)层的隐层输出矩阵Hi-1时，由ELM结构及公式(8)可得第i层输出矩阵Hi， 进而依次得到每层的输出矩阵，最后分类器的输出权重由得到，其中 βclassfication为分类层输出权重，H为分类器的隐层输出矩阵，T为数据标签，至此完成整体网 络的训练。
当整体网络训练好后，将测试图片的特征作为整体网络的输入，之后分类器给出测试图 片的分数，并将分类器给出的分数与对应的主观评价标签相比较，得出最终的测试准确率， 这一过程即为对立体图形进行质量评价。
下面结合附图和具体实施方式进一步详细说明本发明。
本发明所涉及的原始立体图像数据均来自天津大学宽带无线通信与立体成像研究所提供 的立体图像的数据库。其中数据库内的立体图像按照国际电信联盟[32,33]对立体图像质量的主 观评价建议，将所有的立体图像质量分为5个等级：极好、好、一般、差、非常差，分别对 应着5分、4分、3分、2分、1分。在本文的立体图像评价实验中共选择了400幅立体图像样本，其中样本图像的分辨率均为2560×1024。实验图片中有4幅为源立体图像，图 5-8所示分别为flower、river、family以及girl。对源图像经JPEG压缩、加噪、叠加失 真以及模糊处理。实验中的400幅立体图像样本中选取150幅图像作为训练样本，250幅 图像作为测试样本。由大量人员对所获得的立体图像进行主观评价，最后得到每幅立体图像 所对应的平均意见分即为图像质量分数值。
图9-图12所示分别为flower、river、family以及girl所对应的失真立体图像，。其中图9为对flower源图像进行叠加失真的3分立体图像；图10为river源图像进行加噪 处理的2分立体图像；图11为对family源图像进行模糊处理的4分立体图像；图12为girl 源图像经JPEG压缩处理的1分立体图像。分值越大代表失真越小，相应的图像质量越好； 相反，分值越小代表失真越大，相应的图像质量越差。
立体图像客观质量评价方面，目前常见的立体图像质量评价方法大多是基于神经网络， 即应用神经网络相关算法对图像进行分类，得到其质量分数。其中典型的图像质量评价方法 有支持向量机(SVM)、极限学习机(ELM)、基于遗传算法的极限学习机(GA-ELM)[34]等。本 发明分别应用以上所提到的基于神经网络的图像质量评价方法对立体图像进行评价。本发明 将这三种不同的立体图像质量评价方法所得的结果作为对比数据，并且将这些客观方法分别 命名为SVM、ELM以及GA-ELM。加上本发明所提出的立体图像客观质量评价方法D-ELM，共涉 及到四种不同的立体图像质量评价方法。附图13为D-ELM不同隐节点数对应的测试准确率的 影响。附图14分别为L1、L2层节点数固定，L3层的隐节点数改变对ELM和D-ELM准确率的 影响。
由附图13可以看出：当L1＝L2固定时，测试准确率随L3的增加而提高，L3达到100以 上后趋于平稳，这表明分类层隐节点数的增加能够有效提高准确率，但节点数增加到一定数 量时准确率不再提升；当L3固定时，测试准确率先随L1＝L2增加而提高，在20～30左右达到 最高，继续增加节点数，测试率反而下降，这是由于预训练层的节点数过多会引起“过拟合”， 导致测试效果降低。由此可见D-ELM结构下选择合适的隐节点数能提升网络的稳定性和泛化 能力，为了保证测试准确率同时避免节点冗余，本发明选取L1＝L2为30，L3为100。由附图 13可以看出：算法稳定性比较。假设分类器隐层节点数取98、99、100、101、102(D-ELM前 两层节点数L1、L2均取30)，每种节点数测试20次。从图中可看出D-ELM的测试准确率随 着测试次数的改变，波动幅度较小，因而D-ELM受测试次数的影响较小，网络稳定性较高。
本发明利用分类错误率作为主客观评价结果一致性的度量方法。每种客观质量评价方法 所得的客观质量分值与主观评价方法所得的分类错误率列于表1中。另外对比分析了ELM与 D-ELM方法的稳定性，稳定性分析列于表2中。
由表1可以看出：由客观评价方法SVM所得结果与主观评价结果一致性最差，本发明所 公开方法D-ELM所得结果与主观评价结果具有最好的一致性；客观评价方法ELM和GA-ELM的 评价性能稍微比SVM好一些，且仅次于本发明所提客观质量评价方法D-ELM的性能。由表2 可以看出：本发明所公开的方法D-ELM所得结果比客观评价方法ELM的稳定性更好。通过以 上各种立体图像质量评价方法性能对比，我们可以发现在立体图像质量评价方面基于极限学 习机以及深度学习的方法更接近人类做出的主观评价，而在基于极限学习机的立体图像质量 评价方法中本文所提方法D-ELM的评价结果与人类主观评价结果最接近，这说明基于深度学 习的极限学习机方法有利于提高立体图像质量评价方法的可靠性和准确性，同时也说明选择 特征提取方法以及分类器对改善立体图像质量评价方法的性能至关重要。
参考文献
[1]丁明跃,杨丽霞.三维立体成像及其应用[J].电子学报,1995,1(10):124-128.
[2]Carnec M,Le Callet P,Barba D.An image quality assessment methodbased on perception of structural information[C]Proceedings of InternationalConference on Image Processing,Barcelona, Spain,2003:14-17.
[3]Z.Wang,E.P.Simoncelli.Reduced-Reference Image Quality AssessmentUsing a Wavelet-Domain Natural Image Statistic Model[C].Proceedings of theSPIE Human Vision and Electronic Imaging X, San Jose,2005:149-159.
[4]Wang,Z.and A.C.Bovik.“Mean squared error:love it or leave it？A newlook at signal fidelity measures.” Signal Processing Magazine,IEEE.2009,26(1):p.98-117.
[5]You J,Xing L,Perkis A,et al.Perceptual quality assessment forstereoscopic images based on 2D image quality metrics and disparity analysis[C].Proceedings of International Workshop on Video Processing and QualityMetrics for Consumer Electronics,Scottsdale,USA,2010.
[6]杨嘉琛,侯春萍,沈丽丽,等.基于PSNR的立体图像质量客观评价方法[J].天津大学学报, 2008,41(12):1448-1452.
[7]Wang Z,Bovik AC,Sheikh H R,et al.Image quality assessment:Fromerror visibility to structural similarity[J].IEEE Transactions on ImageProcessing,2004,13(4):600-612.
[8]Wang Z,Bovik AC.A universal image quality index[J].IEEE SignalProcessing Letters,2002,9(3): 81-84.
[9]Wang Z,Li Q.Information content weighting for perceptual imagequality assessment[J].IEEE Transactions on Image Processing,2011,20(5):1185-1198
[10]Zhang X,Feng X,Wang W,et al.Edge strength similarity for imagequality assessment[J].IEEE Signal Processing Letters,2013,20(4):319-322.
[11]Kang K,Liu X,Lu K.3D Image Quality Assessment Based on TextureInformation[C].Proceedings of IEEE 17th International Conference onComputational Science and Engineering.2014:1785-1788.
[12]Benoit A,Le Callet P,Campisi P,et al.Quality assessment ofstereoscopic images[J].Eurasip Journal on Image and Video Processing,2009,2008(1):1-13.
[13]Shen L,Yang J,Zhang Z.Quality assessment of stereo images withstereo vision[C].Proceedings of the Second International Congress on Imageand Signal Processing.2009:1-4.
[14]De Miranda Cardoso J V,Danilo Miranda Regis C,Sampaio de AlencarM.On the performance of disparity-based weighting technique applied to 3Dimage quality assessment[C].Proceedings of IEEE International Symposium onBroadband Multimedia Systems and Broadcasting.2014:1-4.
[15]Yu-Hsun Lin,Ja-Ling Wu.Quality assessment of stereoscopic 3Dimage compression by binocular integration behaviors[J].IEEE Transactions onImage Processing,2014,23(4):1527-1542.
[16]程金翠.ICA和BT-SVM在立体图像质量评价***中的应用[D].天津:天津大学,2013.
[17]王光华,李素梅,朱丹,等.极端学习机在立体图像质量客观评价中的应用[J].光电子.激光, 2014,25(9):1837-1842.
[18]Huang G B,Zhu Q Y,and Siew C K.Extreme learning machine:a newlearning scheme of feedforward neural networks[C].Proceedings of IEEEInternational Joint Conference on Neural Networks.2004:985-990.
[19]Huang G B,Wang D H,and Lan Y.Extreme learning machines:a survey[J].International Journal of Machine Learning and Cybernetics,2011,2(2):107-122.
[20]Huang G B,Zhu Q Y,and Siew C K.Extreme learning machine:theoryand applications[J]. Neurocomputing,2006,70(1):489-501.
[21]张浩,吴秀娟.深度学习的内涵及认知理论基础探析[J].中国电化教育,2012,1(10):7-11.
[22]余凯,贾磊,陈雨强,等.深度学习的昨天、今天和明天[J].计算机研究与发展,2013,50(9):1799-1804.
[23]Bengio Y.Learning deep architectures for AI[J].Foundations andTrends in Machine Learning,2009, 2(1):1-127
[24]Krizhevsky A,Sutskever I,Hinton G E.ImageNet Classification withDeep Convolutional Neural Networks[J].Advances in Neural InformationProcessing Systems,2012,25(2):2012.
[25]Kang L,Ye P,Li Y,et al.Convolutional Neural Networks for No-Reference Image Quality Assessment[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.Columbus,Ohio,USA:IEEE Press:2014:1733-1740.
[26]Zhang W,Qu C,Ma L,et al.Learning structure of stereoscopic imagefor no-reference quality assessment with convolutional neural network[J].Pattern Recognition,2016.
[27]林少飞,盛惠兴,李庆武.基于堆叠稀疏自动编码器的手写数字分类[J].微处理 机,2015,1(1):47-51.
[28]曲建岭,杜辰飞,邸亚洲,等.深度自动编码器的研究与展望[J].计算机与现代 化,2014,1(8):128-134.
[29]尚丽.稀疏编码算法及其应用研究[D].合肥：中国科学技术大学,2006.
[30]周巍.L1范数最小化算法及应用[D].广州：华南理工大学,2013.
[31]Beck A,Teboulle M.A fast iterative shrinkage-thresholdingalgorithm for linear inverse problems[J]. Siam Journal on Imaging Sciences,2009,2(1):183-202.
[32]International Telecommunication Union(ITU),Recommendation ITU-RBT.1438,Subjective assessment of stereoscopic television pictures[S].2000.
[33]International Telecommunication Union(ITU),Recommendation ITU-RBT.500,Methodology for the subjective assessment of the quality of televisionpictures[S].2002.
[34]李素梅.一种用于立体图像质量客观评价的极端学习机[P].中国,CN104866864A,2015-08-26。

Claims (4)

1.一种稀疏自动编码器与极限学习机立体图像质量评价方法，其特征是，首先采用深度学习的预训练特征提取方式对原始立体图像进行预处理，得到相应的图像特征；然后将得到的图像特征代替原始图像作为神经网络分类器的输入数据，以减少原始立体图像复杂度对数据处理的影响，神经网络分类器的输出则为相应图像的主观评价标签，以此建立整个神经网络的输入与输出之间的对应关系并确定整个神经网络结构；最后将测试图像数据的特征作为整个神经网络的输入，以得到相应测试样本的测试准确率。
2.如权利要求1所述的稀疏自动编码器与极限学习机立体图像质量评价方法，其特征是，神经网络的分类器是利用极限学习机ELM的分类功能，通过主观实验将不同质量等级的立体图像与其相应的主观标签即主观实验图像评价分值一一对应，然后通过训练样本建立ELM网络模型，将立体图像按不同质量等级分类。
3.如权利要求2所述的稀疏自动编码器与极限学习机立体图像质量评价方法，其特征是，ELM的具体步骤：设置图像训练集{(Xi,Ti)|Xi∈Rn,Ti∈Rm,i＝1,2,…,N}，其中表示输入数据，xij表示第i层的第j个节点的输入值,j∈1,2,...,n，期望输出值由表示，tij,j∈1,2,...,m表示第i层的第j个节点的期望输出值，Rn表示n维实向量，Rm表示m维实向量，隐层激活函数g(x)和隐层节点数L；
1)随机赋予初始输入权重wj和隐层偏移量bj，j＝1,2,…,L，wj和bj均在[-1,1]之间；
2)根据公式(3)计算隐藏层输出矩阵H；
<mrow> <mi>H</mi> <mo>=</mo> <msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>...</mn> </mtd> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>L</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>L</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mo>.</mo> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mo>.</mo> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>X</mi> <mi>N</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>...</mn> </mtd> <mtd> <mrow> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>L</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>X</mi> <mi>N</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>L</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mrow> <mi>N</mi> <mo>&amp;times;</mo> <mi>L</mi> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
给定的N个不同样本集合(Xi,Ti)，把含有L个隐藏层节点和激励函数为g(x)的单隐层前馈神经网络表示为：
<mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msub> <mi>&amp;beta;</mi> <mi>j</mi> </msub> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msub> <mi>&amp;beta;</mi> <mi>j</mi> </msub> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>X</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>T</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>N</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中为第j个隐藏层神经元和输入神经元之间的权重；而隐层神经元和输出神经元之间的权重由表示；bj是第j个隐层节点的偏移量；wj·Xi表示二者的內积；
3)根据最小二乘法计算输出权重 其中表示H矩阵的广义逆矩阵。
稀疏自动编码器的目标函数表示为：
<mrow> <msub> <mi>O</mi> <msub> <mi>&amp;phi;</mi> <mi>i</mi> </msub> </msub> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;phi;</mi> <mi>i</mi> </msub> </mrow> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>a</mi> <mi>i</mi> </msub> <msub> <mi>&amp;phi;</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mi>S</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <msub> <mi>l</mi> <mn>1</mn> </msub> </msub> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中X为原始输入数据，φi为目标基向量，ai为向量的系数，系数ai稀疏的含义是只需很少的几个非零向量就能够表达原始的输入数据，即让大多数的基向量系数为零，S(ai)表示稀疏代价函数，用于对远大于零的系数ai进行惩罚，λ则是用于控制误差项和惩罚项相对重要性的权值，l1表示代价函数S(ai)的L1范式，虽然数据稀疏性标准范式是L0范式的目标函数非凸，无法采用凸优化等有效优化方法求解，因此利用L1范式代替L0范式求近似的稀疏解。
4.如权利要求1所述的稀疏自动编码器与极限学习机立体图像质量评价方法，其特征是，在一个实例中，神经网络采用3个隐藏层的深度结构，其中Layer1、Layer2为预训练阶段的特征学习层，Layer3为分类阶段ELM的隐藏层，分类器的输出与主观评价标签相比较，得到最终的测试准确率，ELM稀疏自动编码器的目标函数：
<mrow> <msub> <mi>O</mi> <mi>&amp;beta;</mi> </msub> <mo>=</mo> <munder> <mi>argmin</mi> <mi>&amp;beta;</mi> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>H</mi> <mi>&amp;beta;</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;beta;</mi> <mo>|</mo> <msub> <mo>|</mo> <msub> <mi>l</mi> <mn>1</mn> </msub> </msub> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中X为输入数据，H为隐层输出矩阵，β为神经元输出权重，λ为控制权重，为了表示方便将公式(8)表示为：
Oβ＝p(β)+q(β) (9)
其中，p(β)＝||X-Hβ||2，采用快速迭代阈值法进行求解，最小化复杂度为O(1/j2)的光滑凸函数，其中j表示迭代次数，迭代完后最终得到的神经元输出权重β即为ELM稀疏自动编码器的最优权重；
Hi＝g(Hi-1·β) (11)
其中Hi为第i层的隐层输出矩阵，Hi-1为第(i-1)层的隐层输出矩阵，g(·)表示隐层激活函数，β为神经元输出权重,已知第(i-1)层的隐层输出矩阵Hi-1时，由ELM结构及公式(8)可得第i层输出矩阵Hi，进而依次得到每层的输出矩阵，最后分类器的输出权重由得到，其中βclassfication为分类层输出权重，H为分类器的隐层输出矩阵，T为数据标签，至此完成整体网络的训练；
当整体网络训练好后，将测试图片的特征作为整体网络的输入，之后分类器给出测试图片的分数，并将分类器给出的分数与对应的主观评价标签相比较，得出最终的测试准确率，这一过程即为对立体图形进行质量评价。
快速迭代阈值法的具体步骤如下：
1)计算光滑凸函数的梯度的利普希兹常数γ；
2)设置初始值y1＝β0∈Rn,t1＝1，并随着j(j≥1)的增加开始迭代；
3)βj＝sγ(yj)，其中sγ为：
<mrow> <msub> <mi>s</mi> <mi>&amp;gamma;</mi> </msub> <mo>=</mo> <munder> <mi>argmin</mi> <mi>&amp;beta;</mi> </munder> <mo>{</mo> <mfrac> <mi>&amp;lambda;</mi> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>&amp;beta;</mi> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&amp;gamma;</mi> </mfrac> <mo>&amp;dtri;</mo> <mi>p</mi> <mo>(</mo> <msub> <mi>&amp;beta;</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>q</mi> <mrow> <mo>(</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
4)
5)
通过上述迭代步骤的计算，迭代完后最终得到的神经元输出权重β即为ELM稀疏自动编码器的最优权重。
CN201710096995.XA 2017-02-22 2017-02-22 稀疏自动编码器与极限学习机立体图像质量评价方法 Pending CN107679543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710096995.XA CN107679543A (zh) 2017-02-22 2017-02-22 稀疏自动编码器与极限学习机立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710096995.XA CN107679543A (zh) 2017-02-22 2017-02-22 稀疏自动编码器与极限学习机立体图像质量评价方法

Publications (1)

Publication Number Publication Date
CN107679543A true CN107679543A (zh) 2018-02-09

Family

ID=61133410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710096995.XA Pending CN107679543A (zh) 2017-02-22 2017-02-22 稀疏自动编码器与极限学习机立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN107679543A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
CN108648207A (zh) * 2018-05-10 2018-10-12 天津大学 基于分段堆栈式自编码器的立体图像质量评价方法
CN108664992A (zh) * 2018-03-30 2018-10-16 广东工业大学 一种基于遗传优化和核极限学习机的分类方法及装置
CN108764064A (zh) * 2018-05-07 2018-11-06 西北工业大学 基于导向滤波器与自编码器的sar目标识别算法
CN109040747A (zh) * 2018-08-06 2018-12-18 上海交通大学 基于卷积自编码器的立体图像舒适度质量评价方法及***
CN109102032A (zh) * 2018-09-03 2018-12-28 中国水利水电科学研究院 一种基于深度森林和自编码的泵站机组诊断方法
WO2019035770A1 (en) * 2017-08-18 2019-02-21 Nanyang Technological University ADAPTIVE COMPUTER SYSTEM, AND METHODS AND APPARATUS FOR LEARNING THE ADAPTIVE COMPUTER SYSTEM
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法
CN110321422A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 在线训练模型的方法、推送方法、装置以及设备
CN111789635A (zh) * 2019-04-04 2020-10-20 株式会社日立制作所 超声波摄像装置以及图像处理装置
CN112270650A (zh) * 2020-10-12 2021-01-26 西南大学 基于稀疏自编码器的图像处理方法、***、介质、设备
CN112485394A (zh) * 2020-11-10 2021-03-12 浙江大学 一种基于稀疏自编码和极限学习机的水质软测量方法
CN113536907A (zh) * 2021-06-06 2021-10-22 南京理工大学 基于深度有监督特征选择的社会关系识别方法及***
CN113557102A (zh) * 2018-12-19 2021-10-26 百超激光有限公司 金属机加工设备中的喷嘴状态或类型的识别

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867138A (zh) * 2015-05-07 2015-08-26 天津大学 基于pca和ga-elm的立体图像质量客观评价方法
CN104866864A (zh) * 2015-05-07 2015-08-26 天津大学 一种用于立体图像质量客观评价的极端学习机
CN105205491A (zh) * 2015-08-19 2015-12-30 西安电子科技大学 基于极限学习机的极化sar图像分类方法
CN105512681A (zh) * 2015-12-07 2016-04-20 北京信息科技大学 一种目标类别图片的获取方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867138A (zh) * 2015-05-07 2015-08-26 天津大学 基于pca和ga-elm的立体图像质量客观评价方法
CN104866864A (zh) * 2015-05-07 2015-08-26 天津大学 一种用于立体图像质量客观评价的极端学习机
CN105205491A (zh) * 2015-08-19 2015-12-30 西安电子科技大学 基于极限学习机的极化sar图像分类方法
CN105512681A (zh) * 2015-12-07 2016-04-20 北京信息科技大学 一种目标类别图片的获取方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMIR BECK ET AL.: "A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems", 《SIAM J. IMAGING SCIENCES》 *
王光华 等: "极端学习机在立体图像质量客观评价中的应用", 《光电子• 激光》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019035770A1 (en) * 2017-08-18 2019-02-21 Nanyang Technological University ADAPTIVE COMPUTER SYSTEM, AND METHODS AND APPARATUS FOR LEARNING THE ADAPTIVE COMPUTER SYSTEM
CN110321422B (zh) * 2018-03-28 2023-04-14 腾讯科技（深圳）有限公司 在线训练模型的方法、推送方法、装置以及设备
CN110321422A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 在线训练模型的方法、推送方法、装置以及设备
CN108470336B (zh) * 2018-03-29 2021-06-29 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
CN108664992A (zh) * 2018-03-30 2018-10-16 广东工业大学 一种基于遗传优化和核极限学习机的分类方法及装置
CN108664992B (zh) * 2018-03-30 2022-02-15 广东工业大学 一种基于遗传优化和核极限学习机的分类方法及装置
CN108764064A (zh) * 2018-05-07 2018-11-06 西北工业大学 基于导向滤波器与自编码器的sar目标识别算法
CN108648207A (zh) * 2018-05-10 2018-10-12 天津大学 基于分段堆栈式自编码器的立体图像质量评价方法
CN108648207B (zh) * 2018-05-10 2021-07-09 天津大学 基于分段堆栈式自编码器的立体图像质量评价方法
CN109040747A (zh) * 2018-08-06 2018-12-18 上海交通大学 基于卷积自编码器的立体图像舒适度质量评价方法及***
CN109102032A (zh) * 2018-09-03 2018-12-28 中国水利水电科学研究院 一种基于深度森林和自编码的泵站机组诊断方法
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法
CN113557102A (zh) * 2018-12-19 2021-10-26 百超激光有限公司 金属机加工设备中的喷嘴状态或类型的识别
CN111789635A (zh) * 2019-04-04 2020-10-20 株式会社日立制作所 超声波摄像装置以及图像处理装置
CN112270650A (zh) * 2020-10-12 2021-01-26 西南大学 基于稀疏自编码器的图像处理方法、***、介质、设备
CN112270650B (zh) * 2020-10-12 2023-04-07 西南大学 基于稀疏自编码器的图像处理方法、***、介质、设备
CN112485394A (zh) * 2020-11-10 2021-03-12 浙江大学 一种基于稀疏自编码和极限学习机的水质软测量方法
CN113536907A (zh) * 2021-06-06 2021-10-22 南京理工大学 基于深度有监督特征选择的社会关系识别方法及***

Similar Documents

Publication Publication Date Title
CN107679543A (zh) 稀疏自动编码器与极限学习机立体图像质量评价方法
US11450066B2 (en) 3D reconstruction method based on deep learning
Wang et al. Hf-neus: Improved surface reconstruction using high-frequency details
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
CN107633513A (zh) 基于深度学习的3d图像质量的度量方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN106462771A (zh) 一种3d图像的显著性检测方法
CN108710906B (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
Hong et al. DNN-VolVis: Interactive volume visualization supported by deep neural network
CN110210282A (zh) 一种基于非凸低秩稀疏分解的运动目标检测方法
CN107240136A (zh) 一种基于深度学习模型的静态图像压缩方法
CN115018727A (zh) 一种多尺度图像修复方法、存储介质及终端
CN108416397A (zh) 一种基于ResNet-GCN网络的图像情感分类方法
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN109740539A (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN110543916A (zh) 一种缺失多视图数据的分类方法及***
CN112634438A (zh) 基于对抗网络的单帧深度图像三维模型重建方法及装置
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
Ji et al. ReliefNet: fast bas-relief generation from 3D scenes
Liu et al. Attentive semantic and perceptual faces completion using self-attention generative adversarial networks
CN113128560A (zh) 一种基于注意力模块增强的cnn楷体书法风格分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209