CN112070236B - 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 - Google Patents

基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 Download PDF

Info

Publication number
CN112070236B
CN112070236B CN202010951143.6A CN202010951143A CN112070236B CN 112070236 B CN112070236 B CN 112070236B CN 202010951143 A CN202010951143 A CN 202010951143A CN 112070236 B CN112070236 B CN 112070236B
Authority
CN
China
Prior art keywords
sparse
training
sample
function
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010951143.6A
Other languages
English (en)
Other versions
CN112070236A (zh
Inventor
于元隆
孙真真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010951143.6A priority Critical patent/CN112070236B/zh
Publication of CN112070236A publication Critical patent/CN112070236A/zh
Application granted granted Critical
Publication of CN112070236B publication Critical patent/CN112070236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征;步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。本发明能够有效提高分类精度和效率。

Description

基于迁移学习解决在线复杂优化计算的稀疏特征学习方法
技术领域
本发明涉及信号特征表达学习领域，具体涉及一种基于解决在线复杂优化计算的稀疏特征学习方法。
背景技术
机器学习的本质是使机器能够模拟或实现人类的学习能力，特征表达学习亦是如此。视觉是人类最重要的信息接收***，我们每时每刻都在通过眼睛感知外部世界丰富多彩的信息，据统计，外部世界信息约有80％～90％是通过视觉***感知到的。人类神经学的研究表明，人眼视觉神经***(HVS)可看作是一种高效且合理的图像处理***。在人眼视觉神经***中，从视网膜到大脑皮层存在一系列简单的神经元，以“感受域”模式描述。感受域是视觉神经***处理信息的功能单元和基本结构，是视网膜上能引起或调节视觉细胞响应刺激的区域。生物学研究明白，哺乳动物的主视皮层V1区神经元的感受域能对视觉感知信号产生一种“稀疏表达”(Sparse Representation，SR)。自此，用于求解信号稀疏特征表达的稀疏编码技术得到了广泛的应用，在语音信号处理、盲源信号分离、自然图像去噪、自然图像特征提取以及模式识别等方面取得许多的研究成果，具有重要的实用价值，是当前学术界的一个研究热点。
发明内容
有鉴于此，本发明的目的在于提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，在提高稀疏特征学习效率的同时能够有效保持所学特征的性能，能够有效提高分类精度和效率。
为实现上述目的，本发明采用如下技术方案：
一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其向量化并预处理，作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。
进一步的，所述步骤S2具体为：
步骤S21:对于输入训练集X＝{x1，x2，...，xN}∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
Figure BDA0002676955500000021
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
Figure BDA0002676955500000031
其中，
Figure BDA0002676955500000032
[·]i表示向量的第i个元素，t表示迭代次数，L表示
Figure BDA0002676955500000033
的Lipschitz常数的上界。
进一步的，所述步骤S3具体为：
步骤S31:给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数表示为：
Figure BDA0002676955500000034
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵,常数C1作为正则项因子；
步骤S32:根据激活函数的形式是否抑制，采用对应模型的学习隐藏层特征。
进一步的，所述步骤S32具体为：
(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)。令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数(6)转化为：
Figure BDA0002676955500000041
根据岭回归模型，权重W可计算为：
Figure BDA0002676955500000042
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
Figure BDA0002676955500000043
其中：
Figure BDA0002676955500000044
φ表示核函数。
进一步的，所述核函数采用高斯函数：
Figure BDA0002676955500000045
其中，σ表示高斯函数的标准差。
进一步的，所述步骤S4具体为：
步骤S41:根据神经网络的输入权重
Figure BDA0002676955500000046
计算训练样本的近似稀疏特征
Figure BDA0002676955500000047
步骤S42:根据
Figure BDA0002676955500000051
和训练样本的类别标签矩阵T＝[t1，...，tN]T，训练线性分类模型，目标函数为：
Figure BDA0002676955500000052
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
进一步的，所述β具体为：
Figure BDA0002676955500000053
本发明与现有技术相比具有以下有益效果：
1、本发明在源域中采用传统编码算法计算稀疏特征，并将这些特征迁移到目标域作为真值，能够在目标域的特征学习中有效保持稀疏表达在分类任务中的性能，同时提高分类任务中测试阶段的特征计算效率；
2、本发明能够有效提高分类精度和效率。
附图说明
图1是本发明方法的总体框图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
对于输入训练集X＝{x1，x2，...，xN}∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
Figure BDA0002676955500000061
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
Figure BDA0002676955500000062
其中，
Figure BDA0002676955500000063
[·]i表示向量的第i个元素，t表示迭代次数，L表示
Figure BDA0002676955500000064
的Lipschitz常数的上界。
步骤S3:将源域中得到的稀疏特征A＝{α1，α2，...，αN}∈RK×N迁移到目标域作为真值，以此训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重。
优选的，在本实施例中，具体地，给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数可以表示为(忽略偏移量)：
Figure BDA0002676955500000071
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵。常数C1作为正则项因子，用于控制模型与训练数据的接近度及决策函数的平滑度之间的权衡，从而提高泛化性能。
在本实施例中，优选的，采用两种不同的技术手段学习隐藏层特征：(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数(6)转化为：
Figure BDA0002676955500000072
根据岭回归模型，权重W可计算为：
Figure BDA0002676955500000073
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
Figure BDA0002676955500000074
其中：
Figure BDA0002676955500000081
φ表示核函数；
所述核函数采用高斯函数：
Figure BDA0002676955500000082
其中，σ表示高斯函数的标准差。
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
所述步骤S4具体为：
步骤S41:根据神经网络的输入权重
Figure BDA0002676955500000083
计算训练样本的近似稀疏特征
Figure BDA0002676955500000084
步骤S42:根据
Figure BDA0002676955500000085
和训练样本的类别标签矩阵T＝[t1，…，tN]T，训练线性分类模型，目标函数为：
Figure BDA0002676955500000086
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
所述β具体为：
Figure BDA0002676955500000087
步骤S5对于给定的待测样本xtest，首先计算其近似稀疏特征
Figure BDA0002676955500000088
然后将
Figure BDA0002676955500000089
送入分类器计算测试样本的分类标签。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，包括以下步骤:
步骤S1:采集数据集，对于图像数据，先将其转化为向量作为训练集样本；
步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；
步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；
步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；
步骤S5:计算待测样本的近似稀疏特征并将其输入分类器，计算得到待测样本的分类标签；
所述步骤S2具体为：
步骤S21:对于输入训练集X＝{x1，x2，...，xN} ∈Rp×N，对于每一个样本xi∈Rp优化下列目标函数：
Figure FDA0003713152510000011
其中，D∈Rp×K表示过完备字典，αi∈RK为xi的稀疏特征，λ为正则系数；
步骤S22:根据硬阈值算子，得到解析解：
Figure FDA0003713152510000021
其中，
Figure FDA0003713152510000022
[·]i表示向量的第i个元素，t表示迭代次数，L表示
Figure FDA0003713152510000023
的Lipschitz常数的上界；
所述步骤S3具体为：
步骤S31：给定输入样本X＝{x1，x2，...，xN}∈Rp×N及其对应的稀疏特征集A＝{α1，α2，...，αN}∈RK×N，该神经网络的目标函数表示为：
Figure FDA0003713152510000024
其中，g(.)表示激活函数，W∈Rd*K表示输入层与隐藏层之间的权重矩阵，常数C1作为正则项因子；
步骤S32：根据激活函数的形式是否已知，采用对应模型的学习隐藏层特征；
所述步骤S4具体为：
步骤S41：根据神经网络的输入权重W，计算训练样本的近似稀疏特征
Figure FDA0003713152510000025
步骤S42：根据
Figure FDA0003713152510000026
和训练样本的类别标签矩阵T＝[t1，…，tN]T，训练线性分类模型，目标函数为：
Figure FDA0003713152510000027
其中，β＝[β1，...，βK]T表示分类器的模型参数，C2为正则系数。
2.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S32具体为：
(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(WTX)＝A，则WTX＝arctanh(A)＝Z，此时目标函数转化为：
Figure FDA0003713152510000031
根据岭回归模型，权重W可计算为：
Figure FDA0003713152510000032
其中，I∈RN×N为单位矩阵；
(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本xtest的特征
Figure FDA0003713152510000033
其中：
Figure FDA0003713152510000034
φ表示核函数。
3.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述核函数采用高斯函数：
Figure FDA0003713152510000041
其中，σ表示高斯函数的标准差。
4.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述β具体为：
Figure FDA0003713152510000042
CN202010951143.6A 2020-09-11 2020-09-11 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 Active CN112070236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010951143.6A CN112070236B (zh) 2020-09-11 2020-09-11 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010951143.6A CN112070236B (zh) 2020-09-11 2020-09-11 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法

Publications (2)

Publication Number Publication Date
CN112070236A CN112070236A (zh) 2020-12-11
CN112070236B true CN112070236B (zh) 2022-08-16

Family

ID=73696152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010951143.6A Active CN112070236B (zh) 2020-09-11 2020-09-11 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法

Country Status (1)

Country Link
CN (1) CN112070236B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3166020A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method and apparatus for image classification based on dictionary learning
CN107798349A (zh) * 2017-11-03 2018-03-13 合肥工业大学 一种基于深度稀疏自编码机的迁移学习方法
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN109308485A (zh) * 2018-08-02 2019-02-05 中国矿业大学 一种基于字典域适应的迁移稀疏编码图像分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951923B (zh) * 2017-03-21 2020-06-16 西北工业大学 一种基于多视角信息融合的机器人三维形状识别方法
CN110533193A (zh) * 2019-08-20 2019-12-03 武汉理工大学 半监督场景下特征和实例联合迁移学习方法
CN111582373A (zh) * 2020-05-09 2020-08-25 电子科技大学 一种基于加权迁移极限学习机算法的辐射源识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3166020A1 (en) * 2015-11-06 2017-05-10 Thomson Licensing Method and apparatus for image classification based on dictionary learning
CN107798349A (zh) * 2017-11-03 2018-03-13 合肥工业大学 一种基于深度稀疏自编码机的迁移学习方法
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN109308485A (zh) * 2018-08-02 2019-02-05 中国矿业大学 一种基于字典域适应的迁移稀疏编码图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Homotopy Iterative Hard Thresholding Algorithm With Extreme Learning Machine for Scene Recognition;Yuanlong Yu et al.;《IEEE Access》;20180607;第30424-30436页 *
A Pruning Algorithm for Extreme Learning Machine based on Sparse Coding;Yuanlong Yu et al.;《2016 International Joint Conference on Neural Networks (IJCNN)》;20161103;第2596-2602页 *
A Sparse Dictionary Learning Algorithm with BB Method;Zhishu Sun et al.;《2018 IEEE International Conference on Information and Automation (ICIA)》;20190826;第139-143页 *

Also Published As

Publication number Publication date
CN112070236A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN105243398B (zh) 基于线性判别分析准则的改进卷积神经网络性能的方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN109214395A (zh) 一种基于脉冲神经网络的图像特征描述方法
CN106991355B (zh) 基于拓扑保持的解析型字典学习模型的人脸识别方法
CN111461025B (zh) 一种自主进化的零样本学习的信号识别方法
CN110188653A (zh) 基于局部特征聚合编码和长短期记忆网络的行为识别方法
CN109815892A (zh) 基于cnn的分布式光纤光栅传感网络的信号识别方法
CN108520202A (zh) 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN107330412B (zh) 一种基于深度稀疏表示的人脸年龄估计方法
CN106529570B (zh) 基于深度脊波神经网络的图像分类方法
CN108537777A (zh) 一种基于神经网络的作物病害识别方法
CN110738271B (zh) 一种锌浮选过程精矿品位预测方法
CN105787517B (zh) 基于小波稀疏自编码器的极化sar图像分类方法
CN103400154A (zh) 一种基于有监督等距映射的人体动作识别方法
CN113011243A (zh) 基于胶囊网络的面部表情分析方法
CN113537566B (zh) 一种基于dccso优化深度学习模型的超短期风电功率预测方法
CN114925734B (zh) 一种基于神经拟态计算的在线神经元分类方法
CN112528804A (zh) 基于生成对抗网络的肌电信号降噪和分类方法
Huang et al. Design and Application of Face Recognition Algorithm Based on Improved Backpropagation Neural Network.
CN109614928B (zh) 基于有限训练数据的熊猫脸部识别方法
CN113180695B (zh) 脑机接口信号分类方法、***、设备和存储介质
CN112070236B (zh) 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN112132096B (zh) 动态更新输出权值的随机配置网络的行为模态识别方法
CN111967326B (zh) 一种基于轻量化多尺度特征提取的步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant