CN108875933B - 一种无监督稀疏参数学习的超限学习机分类方法及*** - Google Patents

一种无监督稀疏参数学习的超限学习机分类方法及*** Download PDF

Info

Publication number
CN108875933B
CN108875933B CN201810433265.9A CN201810433265A CN108875933B CN 108875933 B CN108875933 B CN 108875933B CN 201810433265 A CN201810433265 A CN 201810433265A CN 108875933 B CN108875933 B CN 108875933B
Authority
CN
China
Prior art keywords
learning machine
parameter
learning
ultralimit
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810433265.9A
Other languages
English (en)
Other versions
CN108875933A (zh
Inventor
张咏珊
蔡之华
汪欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201810433265.9A priority Critical patent/CN108875933B/zh
Publication of CN108875933A publication Critical patent/CN108875933A/zh
Application granted granted Critical
Publication of CN108875933B publication Critical patent/CN108875933B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种无监督稀疏参数学习的超限学习机分类方法及***，所述方法包含：首先利用超限学习机稀疏自编码机来学习自编码机网络输出权值，获得稀疏网络输出参数，再将所述参数进行转置输入到超限学习机进行训练，得到超限学习机模型，获得数据的类标信息。通过实验对比，使用分类精度作为指标进行评价，本发明方法分类精度高，分类效果越好。本发明方法为超限学习机的无监督参数学习进行了补充，且能够广泛应用于不同的分类识别应用领域中，显著提高了超限学习机的分类效果，市场前景广大。

Description

一种无监督稀疏参数学习的超限学习机分类方法及***
技术领域
本发明涉及超限学习机方法，尤其涉及到一种无监督稀疏参数学习的超限学习机分类方法及***。
背景技术
一般来说，传统的神经网络通常需要反复迭代地学习和调整其所有的网络参数。不同于传统的神经网络学习算法，超限学习机是一种用于训练泛化单隐层前馈式神经网络的新型学习模型，且无需进行迭代的参数学习。由于其快速的学习速度和较好的泛化能力，超限学习机在许多实际应用中引起了广大研究者的兴趣。实际上，由于其随机分配的网络参数(输入权值参数)，超限学习机的性能将会受到一定的负面影响。因此，超限学习机有效的网络参数学习方法引起了研究人员的广泛关注。
在相关研究人员的努力研究下，超限学习机的参数学习方法取得了较快的进展。目前，演化算法是一类用于解决该问题的常见方法，能够通过其演化进化过程来寻找合适的网络参数，以提高超限学习机的算法性能。其开创性工作是Zhu等人在文献1(Q.Y.Zhu,A.K.Qin,P.N.Suganthan,G.B.Huang,Evolutionary extreme learning machine,PatternRecognition 38(10)(2005)1759–1763)提出的一种基于差分演化算法的超限学习机方法。随后，Cao等人在文献2(J.Cao,Z.Lin,G.B.Huang,Self-adaptive evolutionary extremelearning machine,Neural Processing Letters 36(3)(2012)285–305.)提出一种基于自适应的差分演化算法的超限学习机方法。这些方法通过使用不同的差分演化算法对超限学习机的网络参数进行优化学习，从而获得较好的网络参数以提高超限学习机的学习性能。然而，由于差分演化算法的特性，这些方法容易陷入局部最优解，从而使得超限学习机无法进一步获得更好的分类效果。
在此基础上，Zhang等人在文献3(Y.Zhang,J.Wu,Z.Cai,P.Zhang,L.Chen,Memeticextreme learning machine,Pattern Recognition 58(2016)135–148)提出一种基于文化基因算法的超限学习机方法。该方法结合全局优化算法和局部搜索策略的优点，具有解决局部最优问题的能力，使得超限学习机的分类性能进一步提高。以上研究方法均为监督学习算法。然而，当数据样本无相关类标时，上述方法将无法有效使用。因此，在缺乏数据类标的情况下，超限学习机的无监督网络参数学习方法的需求变得急迫起来。而且目前，绝大多数关于超限学习机参数学习方法均为有监督学习方法，而超限学习机无监督参数学习方法的研究极为罕见。
发明内容
本发明解决了当数据样本无相关类标时进行超限学习分类方法的问题，提出了一种无监督稀疏参数学习的超限学习机分类方法，包含如下步骤：
S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；所述训练样本数据为手写数字，从手写数字数据库中得到；
S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ωT作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数
Figure GDA0002359464370000021
通过参数ωT，
Figure GDA0002359464370000022
和
Figure GDA0002359464370000023
构建无监督稀疏参数学习的超限学习机模型，模型表达式为
Figure GDA0002359464370000024
其中，g(·)为激活函数，
Figure GDA0002359464370000025
为超限学习机模型隐含层的输出矩阵，
Figure GDA0002359464370000026
为隐含层阈值，
Figure GDA0002359464370000027
为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息；所述测试样本数据Xtest为手写数字，从手写数字数据库中得到。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，还包括获取测试样本数据Xtest，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ωT，
Figure GDA0002359464370000028
和
Figure GDA0002359464370000029
对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(Xtest)，其中
Figure GDA00023594643700000210
根据分类精度对输出的测试样本数据预测的类标信息进行评价。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S1包含以下步骤：
S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵
Figure GDA00023594643700000211
超限学习机稀疏自编码机的网络输出参数的学习问题表示为：Oω＝(ω)+q()；其中，
Figure GDA00023594643700000212
为损失函数，
Figure GDA00023594643700000213
为L1范数约束，隐含层输出为
Figure GDA00023594643700000214
网络输出参数为ω；
S12：计算损失函数p(w)的梯度
Figure GDA0002359464370000031
的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到预设的阈值：
S121、初始化z1＝0，t1＝1，计算系数
Figure GDA0002359464370000032
计算参数
Figure GDA0002359464370000033
Figure GDA0002359464370000034
S122、获取网络输出参数ωj＝γ(j)，其中
Figure GDA0002359464370000035
Figure GDA0002359464370000036
S123、将j更新为j+1。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S2包含以下步骤：
S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ωT，作为超限学习机的网络输入参数，并计算得到隐含层阈值
Figure GDA0002359464370000037
其中，L为所述超限学习机网络模型的隐含层神经元个数；
S22：采用输入参数ωT和隐含层阈值
Figure GDA0002359464370000038
构建超限学习机模型：
Figure GDA0002359464370000039
其中
Figure GDA00023594643700000310
Figure GDA00023594643700000311
(·)为激活函数，
Figure GDA00023594643700000312
为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；
S23：建立正则化最小二乘估计函数求解
Figure GDA00023594643700000313
可得
Figure GDA00023594643700000314
其中，
Figure GDA00023594643700000315
为损失函数，
Figure GDA00023594643700000316
为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到
Figure GDA00023594643700000317
从而得到可以用参数ωT，
Figure GDA00023594643700000318
和
Figure GDA00023594643700000319
表达无监督稀疏参数学习的超限学习机模型。
优选的，本发明还提供了一种无监督稀疏参数学习的超限学习机分类***，包含以下模块：
超限学习机的稀疏自编码机输出参数学习模块，用于获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数的ω；所述训练样本数据为手写数字，从手写数字数据库中得到；
构建超限学习机模型模块，用于将稀疏自编码机网络输出参数ω进行转置得到ωT作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数
Figure GDA0002359464370000041
通过参数ωT，
Figure GDA0002359464370000042
和
Figure GDA0002359464370000043
构建无监督稀疏参数学习的超限学习机模型，模型表达式为
Figure GDA0002359464370000044
其中，g(·)为激活函数，
Figure GDA0002359464370000045
为超限学习机模型隐含层的输出矩阵，
Figure GDA0002359464370000046
为隐含层阈值，
Figure GDA0002359464370000047
为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。
在本发明的一种无监督稀疏参数学习的超限学习机分类***中，还包括数据分类评价模块，用来获取测试样本数据Xtest，利用无监督稀疏参数学习的超限学习机模型网络参数ωT，
Figure GDA0002359464370000048
和
Figure GDA0002359464370000049
对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息
f(Xtest)，其中
Figure GDA00023594643700000410
根据分类精度对输出的测试样本数据预测的类标信息进行评价。
在本发明的一种无监督稀疏参数学习的超限学习机分类***中，超限学习机的稀疏自编码机参数学习模块包含以下子模块：
超限学习机稀疏自编码机的网络输出参数学习模块，用于随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵
Figure GDA00023594643700000411
超限学习机稀疏自编码机的网络输出参数的学习问题表示为：Oω＝p(ω)+q(ω)；其中，
Figure GDA00023594643700000412
为损失函数，
Figure GDA00023594643700000413
为L1范数约束，隐含层输出为
Figure GDA00023594643700000414
网络输出参数为ω；
网络输出参数ω计算模块，用于计算损失函数p(w)的梯度
Figure GDA00023594643700000415
的利普希茨常数γ：j从1开始执行下述操作，直至j达到预设的阈值：
初始化z1＝0，t1＝1，计算系数
Figure GDA00023594643700000416
计算参数
Figure GDA00023594643700000417
Figure GDA00023594643700000418
网络输出参数ωj＝sγ(zj)，其中
Figure GDA00023594643700000419
将j更新为j+1。
在本发明的一种无监督稀疏参数学习的超限学习机分类***中，构建超限学习机模型模块包含以下子模块：
超限学习机网络输入参数及隐含层阈值确定模块：用于利用所述稀疏网络输出参数ω进行转置得到ωT，作为超限学习机的网络输入参数，并计算得到隐含层阈值
Figure GDA0002359464370000051
Figure GDA0002359464370000052
其中，L为所述超限学习机网络模型的隐含层神经元个数；
建立超限学习机模型模块：用于采用输入参数ωT和隐含层阈值
Figure GDA0002359464370000053
构建超限学习机模型：
Figure GDA0002359464370000054
其中
Figure GDA0002359464370000055
(·)为激活函数，
Figure GDA0002359464370000056
为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；
求解模型参数模块：用于建立正则化最小二乘估计函数求解
Figure GDA0002359464370000057
可得
Figure GDA0002359464370000058
Figure GDA0002359464370000059
其中，
Figure GDA00023594643700000510
为损失函数，
Figure GDA00023594643700000511
为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到
Figure GDA00023594643700000512
从而得到可以用参数ωT，
Figure GDA00023594643700000513
和
Figure GDA00023594643700000514
表达无监督稀疏参数学习的超限学习机模型。
本发明公开了一种基于无监督稀疏参数学习的超限学习机分类方法及***，通过无监督学习技术能够使超限学习机在不同的应用中自适应地学习合适的稀疏网络参数。其技术特点是在无需使用样本数据的类标信息的情况下，仍然能够为样本数据寻找优秀的网络参数。目前，绝大多数关于超限学习机的参数学习方法均为有监督学习。因此，该方法为超限学习机的无监督参数学习进行了补充，且能够广泛应用于不同的分类识别应用领域中，市场前景广大。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例方法流程图；
图2是本发明实施例方法示意图。
具体实施方式
为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1及图2，本发明的一种无监督稀疏参数学习的超限学习机分类方法，包含如下步骤：
S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；
S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ωT作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数
Figure GDA0002359464370000061
通过参数ωT，
Figure GDA0002359464370000062
和
Figure GDA0002359464370000063
构建无监督稀疏参数学习的超限学习机模型，模型表达式为
Figure GDA0002359464370000064
其中，g(·)为激活函数，
Figure GDA0002359464370000065
为超限学习机模型隐含层的输出矩阵，
Figure GDA0002359464370000066
为隐含层阈值，
Figure GDA0002359464370000067
为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，还包括获取测试样本数据Xtest，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ωT，
Figure GDA0002359464370000068
和
Figure GDA00023594643700000619
对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(Xtest)，其中
Figure GDA0002359464370000069
根据分类精度对输出的测试样本数据预测的类标信息进行评价。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S1包含以下具体步骤：
S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵
Figure GDA00023594643700000610
超限学习机稀疏自编码机的网络输出参数的学习问题表示为：Oω＝p(ω)+q(ω)；其中，
Figure GDA00023594643700000611
为损失函数，
Figure GDA00023594643700000612
为L1范数约束，隐含层输出为
Figure GDA00023594643700000613
网络输出参数为ω；
S12：计算损失函数p(w)的梯度
Figure GDA00023594643700000614
的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到50：
S121、初始化z1＝ω0，t1＝1，计算系数
Figure GDA00023594643700000615
计算参数
Figure GDA00023594643700000616
Figure GDA00023594643700000617
S122、获取网络输出参数ωj＝sγ(zj)，其中
Figure GDA00023594643700000618
Figure GDA0002359464370000071
S123、将j更新为j+1。
在本发明的一种无监督稀疏参数学习的超限学习机分类方法中，步骤S2包含以下具体步骤：
S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ωT，作为超限学习机的网络输入参数，并计算得到隐含层阈值
Figure GDA0002359464370000072
其中，L为所述超限学习机网络模型的隐含层神经元个数；
S22：采用输入参数ωT和隐含层阈值
Figure GDA0002359464370000073
构建超限学习机模型：
Figure GDA0002359464370000074
其中
Figure GDA0002359464370000075
Figure GDA0002359464370000076
g(·)为激活函数，
Figure GDA0002359464370000077
为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；
S23：建立正则化最小二乘估计函数求解
Figure GDA0002359464370000078
可得
Figure GDA0002359464370000079
其中，
Figure GDA00023594643700000710
为损失函数，
Figure GDA00023594643700000711
为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到
Figure GDA00023594643700000712
从而得到可以用参数ωT，
Figure GDA00023594643700000713
和
Figure GDA00023594643700000714
表达无监督稀疏参数学习的超限学习机模型。
为说明本发明的效果，提供以下实施例以进行实验对比。
本方法不仅应用于手写数字识别分类领域，还可应用于其他拓展领域，在进行实验对比时，实验采用生物信息数据库(Carcinom和Lung)、手写数字数据库(BA和Gisette)以及目标识别数据库(COIL100和Caltech101)进行验证。为了公平起见，所有对比方法中的参数为一样的设置。其中隐含层神经元个数为100，平衡系数C从{2-6,2-4,2-2,20,22,24,26,28,210}中选择最优的。
分类精度是最普遍，使用最广泛的分类方法的客观量测指标，其值越接近于1，说明分类效果越好。分类精度的计算公式为
Figure GDA00023594643700000715
其中，Ntest为测试样本数据的数目，
Figure GDA00023594643700000716
和,
Figure GDA00023594643700000717
分别为第i个测试样本数据的预测类标信息和真实类标信息。本方法与文献4(G.-B.Huang,H.Zhou,X.Ding,R.Zhang,Extreme learningmachine for regression and multiclass classification,IEEE Transactions onSystems,Man,and Cybernetics,Part B 42(2)(2012)513–529)、文献1和文献3进行实验对比验证。实验所得的分类精度对比如表1所示。对于六个来自不同领域的数据集，本方法均优于文献4、文献1和文献3中的方法。
表1本发明与现有技术方法在不同数据库中的分类精度对比结果
方法 Carcinom Lung BA Gisette COIL100 Caltech101
文献4 0.629 0.885 0.522 0.830 0.641 0.371
文献1 0.771 0.945 0.584 0.881 0.689 0.402
文献3 0.765 0.948 0.594 0.882 0.697 0.406
本方法 0.806 0.950 0.676 0.959 0.762 0.492
与现有的技术比较，本发明的优点是：
1、提供一种基于无监督稀疏参数学习的超限学习机分类方法，补充现有超限学习机在无监督参数学习算法领域中的缺失。
2、克服类标信息获取的问题，减小昂贵类标信息获取的的代价。
3、稀疏网络参数的使用有利于减少冗余的网络连接，提高超限学习机网络的鲁棒性。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (4)

1.一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，包含以下步骤：
S1：随机生成初始超限学习机稀疏自编码机网络输入参数，获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数ω；所述训练样本数据为手写数字，从手写数字数据库中得到；
S2：利用步骤S1中所述稀疏自编码机网络输出参数ω进行转置得到ωT作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数
Figure FDA0002680143580000011
通过参数ωT，
Figure FDA0002680143580000012
和
Figure FDA0002680143580000013
构建无监督稀疏参数学习的超限学习机模型，模型表达式为
Figure FDA0002680143580000014
Figure FDA0002680143580000015
其中，g(·)为激活函数，
Figure FDA0002680143580000016
为超限学习机模型隐含层的输出矩阵，
Figure FDA0002680143580000017
为隐含层阈值，
Figure FDA0002680143580000018
为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息；
步骤S1包含以下步骤：
S11：随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵
Figure FDA0002680143580000019
超限学习机稀疏自编码机的网络输出参数的学习问题表示为：Oω＝p(ω)+q(ω)；其中，
Figure FDA00026801435800000110
为损失函数，
Figure FDA00026801435800000111
为L1范数约束，隐含层输出为
Figure FDA00026801435800000112
网络输出参数为ω；
S12：计算损失函数p(w)的梯度
Figure FDA00026801435800000118
的利普希茨常数γ：j从1开始执行下述步骤S121至S123，直至j达到预设的阈值：
S121、初始化z1＝ω0，t1＝1，计算系数
Figure FDA00026801435800000113
计算参数
Figure FDA00026801435800000114
Figure FDA00026801435800000115
S122、获取网络输出参数ωj＝sγ(zj)，其中
Figure FDA00026801435800000116
Figure FDA00026801435800000117
S123、将j更新为j+1；
步骤S2包含以下步骤：
S21：利用步骤S1中所述稀疏网络输出参数ω进行转置得到ωT，作为超限学习机的网络输入参数，并计算得到隐含层阈值
Figure FDA0002680143580000021
其中，L为所述超限学习机网络模型的隐含层神经元个数；
S22：采用输入参数ωT和隐含层阈值
Figure FDA00026801435800000216
构建超限学习机模型：
Figure FDA0002680143580000022
其中
Figure FDA0002680143580000023
g(·)为激活函数，
Figure FDA0002680143580000024
为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；
S23：建立正则化最小二乘估计函数求解
Figure FDA0002680143580000025
可得
Figure FDA0002680143580000026
其中，
Figure FDA0002680143580000027
为损失函数，
Figure FDA0002680143580000028
为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到
Figure FDA0002680143580000029
从而得到可以用参数ωT，
Figure FDA00026801435800000210
和
Figure FDA00026801435800000211
表达无监督稀疏参数学习的超限学习机模型。
2.根据权利要求1所述一种无监督稀疏参数学习的超限学习机分类方法，其特征在于，还包括获取测试样本数据Xtest，利用步骤S2中所述的无监督稀疏参数学习的超限学习机模型网络参数ωT，
Figure FDA00026801435800000212
和
Figure FDA00026801435800000213
对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(Xtest)，其中
Figure FDA00026801435800000214
Figure FDA00026801435800000215
根据分类精度对输出的测试样本数据预测的类标信息进行评价；所述测试样本数据Xtest为手写数字，从手写数字数据库中得到。
3.一种无监督稀疏参数学习的超限学习机分类***，其特征在于，包含以下模块：
超限学习机的稀疏自编码机输出参数学习模块，用于获取训练样本数据，对超限学习机稀疏自编码机的网络输出参数进行无监督参数学习，获得学习后的稀疏自编码机网络输出参数的ω；所述训练样本数据为手写数字，从手写数字数据库中得到；
构建超限学习机模型模块，用于将稀疏自编码机网络输出参数ω进行转置得到ωT作为超限学习机的网络输入参数，计算所述训练样本数据在超限学习机隐含层神经元中的特征映射，通过正则化最小二乘目标函数获得网络输出参数
Figure FDA0002680143580000031
通过参数ωT，
Figure FDA0002680143580000032
和
Figure FDA0002680143580000033
构建无监督稀疏参数学习的超限学习机模型，模型表达式为
Figure FDA0002680143580000034
其中，g(·)为激活函数，
Figure FDA0002680143580000035
为超限学习机模型隐含层的输出矩阵，
Figure FDA0002680143580000036
为隐含层阈值，
Figure FDA0002680143580000037
为超限学习机网络输出参数，Y为输出的训练样本数据的类标信息；
所述超限学习机的稀疏自编码机输出参数学习模块包含以下子模块：
超限学习机稀疏自编码机的网络输出参数学习模块，用于随机生成初始超限学习机稀疏自编码机网络输入参数，获取输入训练样本数据X，计算获取超限学习机稀疏自编码机模型的隐含层输出矩阵
Figure FDA0002680143580000038
超限学习机稀疏自编码机的网络输出参数的学习问题表示为：Oω＝p(ω)+q(ω)；其中，
Figure FDA0002680143580000039
为损失函数，
Figure FDA00026801435800000317
为L1范数约束，隐含层输出为
Figure FDA00026801435800000310
网络输出参数为ω；
网络输出参数ω计算模块，用于计算损失函数p(w)的梯度
Figure FDA00026801435800000318
的利普希茨常数γ：j从1开始执行下述操作，直至j达到预设的阈值：
初始化z1＝ω0，t1＝1，计算系数
Figure FDA00026801435800000311
计算参数
Figure FDA00026801435800000312
Figure FDA00026801435800000313
网络输出参数ωj＝sγ(zj)，其中
Figure FDA00026801435800000314
Figure FDA00026801435800000315
将j更新为j+1；
构建超限学习机模型模块包含以下子模块：
超限学习机网络输入参数及隐含层阈值确定模块：用于利用所述稀疏网络输出参数ω进行转置得到ωT，作为超限学习机的网络输入参数，并计算得到隐含层阈值
Figure FDA00026801435800000316
其中，L为所述超限学习机网络模型的隐含层神经元个数；
建立超限学习机模型模块：用于采用输入参数ωT和隐含层阈值
Figure FDA0002680143580000041
构建超限学习机模型：
Figure FDA0002680143580000042
其中
Figure FDA0002680143580000043
g(·)为激活函数，
Figure FDA0002680143580000044
为隐含层输出矩阵，Y为输出的训练样本数据的类标信息；
求解模型参数模块：用于建立正则化最小二乘估计函数求解
Figure FDA0002680143580000045
可得
Figure FDA0002680143580000046
Figure FDA0002680143580000047
其中，
Figure FDA0002680143580000048
为损失函数，
Figure FDA0002680143580000049
为惩罚项，C为损失函数和惩罚项的平衡系数，根据训练样本个数N与超限学习机隐含层神经元个数L的关系，得到
Figure FDA00026801435800000410
从而得到可以用参数ωT，
Figure FDA00026801435800000411
和
Figure FDA00026801435800000412
表达无监督稀疏参数学习的超限学习机模型。
4.根据权利要求3所述一种无监督稀疏参数学习的超限学习机分类***，其特征在于，
还包括数据分类评价模块，用来获取测试样本数据Xtest，利用无监督稀疏参数学习的超限学习机模型网络参数ωT，
Figure FDA00026801435800000413
和
Figure FDA00026801435800000414
对测试样本数据进行计算，获得输出的测试样本数据预测的类标信息f(Xtest)，其中
Figure FDA00026801435800000415
根据分类精度对输出的测试样本数据预测的类标信息进行评价；所述测试样本数据Xtest为手写数字，从手写数字数据库中得到。
CN201810433265.9A 2018-05-08 2018-05-08 一种无监督稀疏参数学习的超限学习机分类方法及*** Expired - Fee Related CN108875933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810433265.9A CN108875933B (zh) 2018-05-08 2018-05-08 一种无监督稀疏参数学习的超限学习机分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810433265.9A CN108875933B (zh) 2018-05-08 2018-05-08 一种无监督稀疏参数学习的超限学习机分类方法及***

Publications (2)

Publication Number Publication Date
CN108875933A CN108875933A (zh) 2018-11-23
CN108875933B true CN108875933B (zh) 2020-11-24

Family

ID=64327248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810433265.9A Expired - Fee Related CN108875933B (zh) 2018-05-08 2018-05-08 一种无监督稀疏参数学习的超限学习机分类方法及***

Country Status (1)

Country Link
CN (1) CN108875933B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858511B (zh) * 2018-11-30 2021-04-30 杭州电子科技大学 基于协同表示的安全半监督超限学习机分类方法
CN109934295B (zh) * 2019-03-18 2022-04-22 重庆邮电大学 一种基于超限隐特征学习模型的图像分类与重建方法
CN109934304B (zh) * 2019-03-25 2022-03-29 重庆邮电大学 一种基于超限隐特征模型的盲领域图像样本分类方法
CN110110860B (zh) * 2019-05-06 2023-07-25 南京大学 一种用于加速机器学习训练的自适应数据采样方法
CN112466401B (zh) * 2019-09-09 2024-04-09 华为云计算技术有限公司 利用人工智能ai模型组分析多类数据的方法及装置
CN110849626B (zh) * 2019-11-18 2022-06-07 东南大学 一种自适应稀疏压缩自编码的滚动轴承故障诊断***
CN111460966B (zh) * 2020-03-27 2024-02-02 中国地质大学（武汉） 基于度量学习和近邻增强的高光谱遥感图像分类方法
CN112465042B (zh) * 2020-12-02 2023-10-24 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN113420815B (zh) * 2021-06-24 2024-04-30 江苏师范大学 半监督rsdae的非线性pls间歇过程监测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200268B (zh) * 2014-09-03 2017-02-15 辽宁大学 一种基于粒子群优化极限学习机的带钢出口厚度预测方法
CN105550744A (zh) * 2015-12-06 2016-05-04 北京工业大学 一种基于迭代的神经网络聚类方法
US20180240018A1 (en) * 2016-05-19 2018-08-23 Jiangnan University Improved extreme learning machine method based on artificial bee colony optimization
CN107451651A (zh) * 2017-07-28 2017-12-08 杭州电子科技大学 一种基于粒子群优化的h‑elm的驾驶疲劳检测方法
CN107451278A (zh) * 2017-08-07 2017-12-08 北京工业大学 基于多隐层极限学习机的中文文本分类方法
CN107563567A (zh) * 2017-09-18 2018-01-09 河海大学 基于稀疏自编码的核极限学习机洪水预报方法

Also Published As

Publication number Publication date
CN108875933A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875933B (zh) 一种无监督稀疏参数学习的超限学习机分类方法及***
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN108399406B (zh) 基于深度学习的弱监督显著性物体检测的方法及***
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN106919980B (zh) 一种基于神经节分化的增量式目标识别***
CN110941734B (zh) 基于稀疏图结构的深度无监督图像检索方法
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
Barman et al. Transfer learning for small dataset
CN110555399A (zh) 手指静脉识别方法、装置、计算机设备及可读存储介质
CN109726195B (zh) 一种数据增强方法及装置
CN114444600A (zh) 基于记忆增强原型网络的小样本图像分类方法
Xu et al. Constructing balance from imbalance for long-tailed image recognition
CN113095229B (zh) 一种无监督域自适应行人重识别***及方法
CN111753995A (zh) 一种基于梯度提升树的局部可解释方法
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及***
Bi et al. Critical direction projection networks for few-shot learning
He et al. Leaf classification utilizing a convolutional neural network with a structure of single connected layer
CN112836007A (zh) 一种基于语境化注意力网络的关系元学习方法
CN116993548A (zh) 基于增量学习的LightGBM-SVM的教育培训机构信用评估方法及***
CN110796167B (zh) 基于提升方案深度神经网络的图像分类方法
CN113707213A (zh) 基于深度学习的蛋白质-配体结合位点预测方法
CN113673555B (zh) 一种基于记忆体的无监督域适应图片分类方法
CN116016142B (zh) 传感网络故障识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201124