CN106803124B - 基于流形正则和范数正则的领域迁移极限学习机方法 - Google Patents
基于流形正则和范数正则的领域迁移极限学习机方法 Download PDFInfo
- Publication number
- CN106803124B CN106803124B CN201710047906.2A CN201710047906A CN106803124B CN 106803124 B CN106803124 B CN 106803124B CN 201710047906 A CN201710047906 A CN 201710047906A CN 106803124 B CN106803124 B CN 106803124B
- Authority
- CN
- China
- Prior art keywords
- norm
- data
- output
- gas
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于流形正则和范数正则的领域迁移极限学习机方法。在传统的极限学习机基础上,引入半监督学习和迁移学习的思想,构造了一种新的极限学习机模型,由3部分组成:能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项;同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项;约束权值空间的范数正则子。本发明结合源领域来处理目标领域的预测问题,提高了极限学习机的泛化能力和应用范围。其中,流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果,克服了传统机器学习方法需要大量有标签数据的限制,同时也提高了预测的准确性和鲁棒性。
Description
技术领域
本发明涉及一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法,属于机器学习和模式识别技术领域。
背景技术
人工神经网络因其强大的自适应、自组织、自学习和非线性映射能力,已广泛应用于生物、化学、医学、经济、海洋等各种领域。但是传统的神经网络,如反向传播(BackPropagation,BP)网络,需要人为设置大量的网络训练参数,训练速度慢、很容易产生局部最优解。针对以上问题,Huang提出一种叫做极限学习机(Extreme Learning Machine,ELM)的单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFNs)新算法。该算法的核心主要是两个部分:一是随机产生输入权重和隐层偏置,避免了迭代调节参数;二是将神经网络的训练问题变化成求解最小二乘的问题,产生唯一的最优解,避免了人工神经网络需要人为的调整参数和易于陷入局部最优解的缺陷。ELM算法因其简单易实现、学习速度快、泛化能力强等特点,近年来受到越来越多的关注。然而,传统ELM需要大量的有标签数据来训练分类器,要求训练数据和待识别目标具有相同的分布特性即不具备领域迁移能力等。而在现实生活中,给数据打上标签会耗费大量的人力、物力,而且待识别目标与训练数据不一定满足分布相同这一条件,例如AUV进行海底环境探索的实际过程中,受环境(光线,海水浊度,地质特点等)等因素影响,AUV在海底两个不同海域采集到的图像会存在数据偏移现象并且具有先验知识的(有标签数据)训练样本数据往往是少量的。
发明内容
本发明将半监督学习、迁移学习、极限学习机有机结合,提出了一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法,以弥补现有技术的不足。
为达到上述目的,本发明采取的具体技术方案为:
步骤1:设源领域数据为DS={XS},其中源领域有标签数据TS是相应的类别标签,源领域无标签数据目标领域数据为DT={XT},其中目标领域有标签数据TT是相应的类别标签,目标领域无标签数据把第i个数据样本表示成xi=[xi1,xi2,…,xin]T,n是每个数据的特征维度;
步骤2:随机产生极限学习机的隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数,即等于数据的特征维度,bi是第i个隐层节点的偏置,L是隐层节点个数;
步骤3:对于N个输入样本X={x1,x2,...,xN},计算相应的隐层输出矩阵:
步骤4:结合半监督学习、迁移学习,同时为使得结构风险最小化,构建出如下优化模型:
其中||β||p是用来约束权值空间的范数正则子,取三种范数正则子:L1范数||β||1,L2范数和包络范数其介于L1范数和L2范数之间;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(g)表示矩阵的迹;
步骤5:设定上述步骤4中的4个惩罚参数;
步骤6:根据源领域所有数据XS和目标领域所有数据XT分别计算LS和LT;
步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,在此步骤中,不同的范数正则子采用不同的求解方式,具体如下:
7-1.当采用L1范数||β||1时,令
随机初始化输出权值β,然后使用前向后向***算法得:
令Uk=βk-m▽F(βk),此时利用迭代软阈值收缩算法得:
当NS<L时,
当NS>L时,
随机初始化输出权值β,然后利用前向后向***算法得:
令Uk=βk-m▽F(βk),利用迭代软阈值收缩算法得:
步骤8:根据步骤7得到的三个不同输出权值β,相应形成三个不同的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型,然后根据训练误差的大小取其中训练误差最小的一个模型并将其应用到后续新数据的预测问题中。
其中g(g)表示激活函数,主要包括sigmoid函数,sin函数,hardlim函数,radbas函数,tridbas函数等等。
另外,上述步骤4中的优化模型包含了:1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项,2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项,3.约束权值空间的范数正则子
本发明的优点:本发明在传统的极限学习机基础上,引入半监督学习和迁移学习的思想,构造了一种新的极限学习机模型。该模型由3部分组成,包含:1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项,2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项,3.约束权值空间的范数正则子。
另外,本发明提出了3种范数正则子来约束权值空间,L1范数正则子的主要作用是使权值具有稀疏性,使得模型排除冗余特征的干扰,实现特征筛选功能;L2范数正则子使得权值的每一个分量都很小,约束每一个特征分量对结果有一个合适的影响力度,这样不仅可以防止模型过拟合,也可以使得模型比较稳定,泛化能力较强。包络范数正则子的优点在与其可调整性,它是一个L1范数和L2范数之间的弹性网络,兼具L1范数和L2范数的优点;使得本发明提出的模型在经验风险最小化的同时也能够保持结构风险最小化;本方法分别对3种范数正则子情况进行了求解,进一步充实了极限学习机的理论框架,探索了不同范数正则子下模型的性能以便从其中确定一个最优预测效果下的模型,从而进一步有效的提升了本发明方法预测结果的精度和稳定性。
本发明结合源领域来处理目标领域的预测问题,如回归问题与分类问题,提高了极限学习机的泛化能力和应用范围。其中,流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果,克服了传统机器学习方法需要大量有标签数据的限制,同时也提高了预测的准确性和鲁棒性。
附图说明
图1是本发明方法的流程图。
图2是本发明的极限学习机模型示意图。
具体实施方式
为更好地理解本发明,下面结合具体实施例对本发明做进一步地详细说明,但是以下描述仅作为示范和解释,并不对本发明作任何形式上的限制。
本实施例采用的数据来自UCI机器学***台采集到的6种气体连续36个月共13910个气体样本的数据资料。本实施例中每个样本提取一个128维的特征来表征。由于电子鼻***的气体探测传感器随着时间的变化会有传感器漂移现象,因此采集到的这些气体数据在不同的时间段也会存在数据偏移现象。本发明方法的流程如图1所示。
步骤1:取第1,2个月445个气体样本数据作为无传感器漂移现象的源领域数据,记为DS={XS},取其中100个样本作为无漂移的源领域有标签气体样本数据,记为TS是相应的类别标签,其余样本作为无漂移的源领域无标签气体样本数据,记为取第3-10个月1244个气体样本数据作为存在传感器漂移现象的目标领域数据,记为DT={XT},取其中200个样本作为有漂移的目标领域有标签气体样本数据,记为TT是相应的类别标签,其余样本作为有漂移的目标领域无标签气体样本数据,记为把第i个气体样本表示成xi=[xi1,xi2,…,xin]T,n是每个气体样本数据的特征维度,在此n=128;
步骤2:本发明的极限学习机模型如图2所示:事先设定好隐层节点个数L,利用随机函数随机产生隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数(它等于气体样本的特征维度,即为128),bi是第i个隐层节点的偏置;
步骤3:对于N个输入的气体样本数据X={x1,x2,…,xN},计算其相应的隐层输出矩阵:
步骤4:结合半监督学习、迁移学习,我们引入流形正则项并同时考虑源领域和目标领域误差最小化,构建本发明方法的优化模型:
其中||β||p是用来约束权值空间的范数正则子,我们在本发明中考虑了L1范数||β||1,L2范数(为了方便求解,使用的是0.5倍的L2范数平方的形式)和包络范数(介于L1范数和L2范数之间,)三种范数正则子;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(g)表示矩阵的迹;
步骤5:设定上述步骤中的4个惩罚参数CS,CT,λS和λT;
步骤6:分别计算不存在漂移现象的源领域气体样本数据和存在漂移现象的目标领域气体样本数据的拉普拉斯矩阵LS和LT;
步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,不同的范数正则子本发明采用不同的求解方式,具体如下:
7-1.当采用L1范数||β||1时,令
令Uk=βk-m▽F(βk),由迭代软阈值收缩算法(ISTA)得,
当满足迭代终止条件时,迭代停止,得到模型L1范数下的输出权值;
NS是中气体样本的个数,NT是中气体样本的个数;分别表示无飘移的源领域第i个气体样本的隐层输出,类别标签(理想输出),实际输出与理想输出之间的误差;同样,分别表示有漂移的目标领域第j个气体样本的隐层输出,类别标签(理想输出),实际输出与理想输出之间的误差;
利用拉格朗日乘子,上述问题可以写成:
对上式求偏导:
当NS<L时,
方程式可以简化为:
然后解得αS,αT:
解得模型L2范数下的输出权值:
当NS>L时,
解得模型L2范数下的输出权值:
令Uk=βk-m▽F(βk),由迭代软阈值收缩算法(ISTA)得,
步骤8:根据步骤7得到的输出权值矩阵β,得到本发明的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型f(x)并将此模型应用到电子鼻***的气体识别中。
实验表明,本发明方法对电子鼻***采集到的气体样本识别率可达98%,此结果远高于使用传统ELM方法的82%的识别率,从而证明了本方法的有效性。
以上所述,仅是本发明的实施例之一,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (1)
1.一种基于领域迁移极限学习机方法的气体识别方法,其特征在于,包括以下步骤:
步骤1:取第1,2个月445个气体样本数据作为无传感器漂移现象的源领域数据,记为DS={XS},取其中100个样本作为无漂移的源领域有标签气体样本数据,记为TS是相应的类别标签,其余样本作为无漂移的源领域无标签气体样本数据,记为取第3-10个月1244个气体样本数据作为存在传感器漂移现象的目标领域数据,记为DT={XT},取其中200个样本作为有漂移的目标领域有标签气体样本数据,记为TT是相应的类别标签,其余样本作为有漂移的目标领域无标签气体样本数据,记为把第i个气体样本表示成xi=[xi1,xi2,…,xin]T,n是每个气体样本数据的特征维度,在此n=128;
步骤2:本发明的极限学习机模型:事先设定好隐层节点个数L,利用随机函数随机产生隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数,bi是第i个隐层节点的偏置;
步骤3:对于N个输入的气体样本数据X={x1,x2,...,xN},计算其相应的隐层输出矩阵:
步骤4:结合半监督学习、迁移学习,引入流形正则项并同时考虑源领域和目标领域误差最小化,构建本发明方法的优化模型:
其中||β||p是用来约束权值空间的范数正则子,考虑了L1范数||β||1,L2范数为了方便求解,使用的是0.5倍的L2范数平方的形式和包络范数(介于L1范数和L2范数之间)三种范数正则子;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(·)表示矩阵的迹;
步骤5:设定步骤中的4个惩罚参数CS,CT,λS和λT;
步骤6:分别计算不存在漂移现象的源领域气体样本数据和存在漂移现象的目标领域气体样本数据的拉普拉斯矩阵LS和LT;
步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,不同的范数正则子本发明采用不同的求解方式,具体如下:
7-1.当采用L1范数||β||1时,令
当满足迭代终止条件时,迭代停止,得到模型L1范数下的输出权值;
NS是中气体样本的个数,NT是中气体样本的个数;分别表示无飘移的源领域第i个气体样本的隐层输出,类别标签,实际输出与理想输出之间的误差;同样,分别表示有漂移的目标领域第j个气体样本的隐层输出,类别标签,实际输出与理想输出之间的误差;
利用拉格朗日乘子,写成:
对上式求偏导:
当NS<L时,
方程式简化为:
然后解得αS,αT:
解得模型L2范数下的输出权值:
当NS>L时,
解得模型L2范数下的输出权值:
步骤8:根据步骤7得到的输出权值矩阵β,得到基于流形正则项和Lp范数正则子的领域迁移极限学习机模型f(x)并将此模型应用到电子鼻***的气体识别中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710047906.2A CN106803124B (zh) | 2017-01-21 | 2017-01-21 | 基于流形正则和范数正则的领域迁移极限学习机方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710047906.2A CN106803124B (zh) | 2017-01-21 | 2017-01-21 | 基于流形正则和范数正则的领域迁移极限学习机方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106803124A CN106803124A (zh) | 2017-06-06 |
CN106803124B true CN106803124B (zh) | 2020-04-07 |
Family
ID=58987088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710047906.2A Active CN106803124B (zh) | 2017-01-21 | 2017-01-21 | 基于流形正则和范数正则的领域迁移极限学习机方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106803124B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11797611B2 (en) | 2021-07-07 | 2023-10-24 | International Business Machines Corporation | Non-factoid question answering across tasks and domains |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918718B (zh) * | 2017-11-03 | 2020-05-22 | 东北大学秦皇岛分校 | 基于在线顺序极限学习机的样品成分含量测定方法 |
CN109060001B (zh) * | 2018-05-29 | 2021-02-26 | 浙江工业大学 | 一种基于特征迁移学习的多工况过程软测量建模方法 |
CN110619342B (zh) * | 2018-06-20 | 2023-02-03 | 鲁东大学 | 一种基于深度迁移学习的旋转机械故障诊断方法 |
WO2020068421A1 (en) * | 2018-09-28 | 2020-04-02 | Dow Global Technologies Llc | Hybrid machine learning model for code classification |
CN109598283B (zh) * | 2018-10-22 | 2020-12-08 | 中南大学 | 一种基于半监督极限学习机的铝电解过热度识别方法 |
CN109669009A (zh) * | 2019-01-10 | 2019-04-23 | 重庆邮电大学 | 基于域校正的域自适应极限学习机电子鼻漂移抑制方法 |
CN111950736B (zh) * | 2020-07-24 | 2023-09-19 | 清华大学深圳国际研究生院 | 迁移集成学习方法、终端设备及计算机可读存储介质 |
CN115015472A (zh) * | 2022-02-25 | 2022-09-06 | 重庆邮电大学 | 一种基于域自适应的极限学习机传感器漂移数据重构方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
CN105550744A (zh) * | 2015-12-06 | 2016-05-04 | 北京工业大学 | 一种基于迭代的神经网络聚类方法 |
CN106021637A (zh) * | 2016-04-15 | 2016-10-12 | 山东农业大学 | 互质阵列中基于迭代稀疏重构的doa估计方法 |
-
2017
- 2017-01-21 CN CN201710047906.2A patent/CN106803124B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160400A (zh) * | 2015-09-08 | 2015-12-16 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
CN105550744A (zh) * | 2015-12-06 | 2016-05-04 | 北京工业大学 | 一种基于迭代的神经网络聚类方法 |
CN106021637A (zh) * | 2016-04-15 | 2016-10-12 | 山东农业大学 | 互质阵列中基于迭代稀疏重构的doa估计方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11797611B2 (en) | 2021-07-07 | 2023-10-24 | International Business Machines Corporation | Non-factoid question answering across tasks and domains |
Also Published As
Publication number | Publication date |
---|---|
CN106803124A (zh) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803124B (zh) | 基于流形正则和范数正则的领域迁移极限学习机方法 | |
CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
CN107633296B (zh) | 一种卷积神经网络构建方法 | |
CN111488734A (zh) | 基于全局交互和句法依赖的情感特征表示学习***及方法 | |
Hjøllo et al. | Modelling secondary production in the Norwegian Sea with a fully coupled physical/primary production/individual-based Calanus finmarchicus model system | |
CN109919864A (zh) | 一种基于稀疏去噪自编码网络的图像压缩感知方法 | |
CN110516539A (zh) | 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备 | |
CN109685743A (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
CN112417289B (zh) | 一种基于深度聚类的资讯信息智能推荐方法 | |
CN107220337A (zh) | 一种基于混合迁移网络的跨媒体检索方法 | |
CN104517120B (zh) | 基于多路分层正交匹配的遥感图像场景分类方法 | |
Bao et al. | Variational autoencoder or generative adversarial networks? a comparison of two deep learning methods for flow and transport data assimilation | |
CN111058840A (zh) | 一种基于高阶神经网络的有机碳含量(toc)评价方法 | |
CN110245602A (zh) | 一种基于深度卷积特征的水下静目标识别方法 | |
CN116047583A (zh) | 基于深度卷积神经网络的自适应波阻抗反演方法及*** | |
CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
CN106845343A (zh) | 一种光学遥感图像海上平台自动检测方法 | |
CN116206158A (zh) | 基于双超图神经网络的场景图像分类方法及*** | |
CN110289987A (zh) | 基于表征学习的多智能体***网络抗攻击能力评估方法 | |
Liu et al. | Plant intelligence-based PILLO underwater target detection algorithm | |
Li et al. | Deep matrix factorization for social image tag refinement and assignment | |
CN106529601A (zh) | 基于稀疏子空间多任务学习的图像分类预测方法 | |
Feng et al. | Attention focused spatial pyramid pooling for boxless action recognition in still images | |
CN106658577B (zh) | 一种联合空间-时间稀疏性的传感网数据恢复方法 | |
Saenz et al. | Dimensionality-reduction of climate data using deep autoencoders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |