CN112070236A - 基于迁移学习解决在线复杂优化计算的稀疏特征学习方法 - Google Patents

Abstract

本发明涉及一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征;步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。本发明能够有效提高分类精度和效率。

Description

基于迁移学习解决在线复杂优化计算的稀疏特征学习方法

技术领域

本发明涉及信号特征表达学习领域，具体涉及一种基于解决在线复杂优化计算的稀疏特征学习方法。

背景技术

机器学习的本质是使机器能够模拟或实现人类的学习能力，特征表达学习亦是如此。视觉是人类最重要的信息接收***，我们每时每刻都在通过眼睛感知外部世界丰富多彩的信息，据统计，外部世界信息约有80％～90％是通过视觉***感知到的。人类神经学的研究表明，人眼视觉神经***(HVS)可看作是一种高效且合理的图像处理***。在人眼视觉神经***中，从视网膜到大脑皮层存在一系列简单的神经元，以“感受域”模式描述。感受域是视觉神经***处理信息的功能单元和基本结构，是视网膜上能引起或调节视觉细胞响应刺激的区域。生物学研究明白，哺乳动物的主视皮层V1区神经元的感受域能对视觉感知信号产生一种“稀疏表达”(Sparse Representation，SR)。自此，用于求解信号稀疏特征表达的稀疏编码技术得到了广泛的应用，在语音信号处理、盲源信号分离、自然图像去噪、自然图像特征提取以及模式识别等方面取得许多的研究成果，具有重要的实用价值，是当前学术界的一个研究热点。

发明内容

有鉴于此，本发明的目的在于提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，在提高稀疏特征学习效率的同时能够有效保持所学特征的性能，能够有效提高分类精度和效率。

为实现上述目的，本发明采用如下技术方案：

一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:

步骤S1:采集数据集，对于图像数据，先将其向量化并预处理，作为训练集样本；

步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；

步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；

步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；

步骤S5:将待测样本进行预处理后输入分类器，计算得到待测样本的分类标签。

进一步的，所述步骤S2具体为：

步骤S21:对于输入训练集X＝{x₁，x₂，...，x_N}∈R^p×N，对于每一个样本x_i∈R^p优化下列目标函数：

其中，D∈R^p×K表示过完备字典，α_i∈R^K为x_i的稀疏特征，λ为正则系数；

步骤S22:根据硬阈值算子，得到解析解：

其中，

[·]_i表示向量的第i个元素，t表示迭代次数，L表示

的Lipschitz常数的上界。

进一步的，所述步骤S3具体为：

步骤S31:给定输入样本X＝{x₁，x₂，...，x_N}∈R^p×N及其对应的稀疏特征集A＝{α₁，α₂，...，α_N}∈R^K×N，该神经网络的目标函数表示为：

其中，g(.)表示激活函数，W∈R^d*K表示输入层与隐藏层之间的权重矩阵,常数C₁作为正则项因子；

步骤S32:根据激活函数的形式是否抑制，采用对应模型的学习隐藏层特征。

进一步的，所述步骤S32具体为：

(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)。令tanh(W^TX)＝A，则W^TX＝arctanh(A)＝Z，此时目标函数(6)转化为：

根据岭回归模型，权重W可计算为：

其中，I∈R^N×N为单位矩阵；

(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本x_test的特征

其中：

φ表示核函数。

进一步的，所述核函数采用高斯函数：

其中，σ表示高斯函数的标准差。

进一步的，所述步骤S4具体为：

步骤S41:根据神经网络的输入权重

计算训练样本的近似稀疏特征

步骤S42:根据

和训练样本的类别标签矩阵T＝[t₁，...，t_N]^T，训练线性分类模型，目标函数为：

其中，β＝[β₁，...，β_K]^T表示分类器的模型参数，C₂为正则系数。

进一步的，所述β具体为：

本发明与现有技术相比具有以下有益效果：

1、本发明在源域中采用传统编码算法计算稀疏特征，并将这些特征迁移到目标域作为真值，能够在目标域的特征学习中有效保持稀疏表达在分类任务中的性能，同时提高分类任务中测试阶段的特征计算效率；

2、本发明能够有效提高分类精度和效率。

附图说明

图1是本发明方法的总体框图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，包括以下步骤:

步骤S1:采集数据集，对于图像数据，先将其向量化作为训练集样本；

步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；

对于输入训练集X＝{x₁，x₂，...，x_N}∈R^p×N，对于每一个样本x_i∈R^p优化下列目标函数：

其中，D∈R^p×K表示过完备字典，α_i∈R^K为x_i的稀疏特征，λ为正则系数；

步骤S22:根据硬阈值算子，得到解析解：

其中，

[·]_i表示向量的第i个元素，t表示迭代次数，L表示

的Lipschitz常数的上界。

步骤S3:将源域中得到的稀疏特征A＝{α₁，α₂，...，α_N}∈R^K×N迁移到目标域作为真值，以此训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重。

优选的，在本实施例中，具体地，给定输入样本X＝{x₁，x₂，...，x_N}∈R^p×N及其对应的稀疏特征集A＝{α₁，α₂，...，α_N}∈R^K×N，该神经网络的目标函数可以表示为(忽略偏移量)：

其中，g(.)表示激活函数，W∈R^d*K表示输入层与隐藏层之间的权重矩阵。常数C₁作为正则项因子，用于控制模型与训练数据的接近度及决策函数的平滑度之间的权衡，从而提高泛化性能。

在本实施例中，优选的，采用两种不同的技术手段学习隐藏层特征：(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(W^TX)＝A，则W^TX＝arctanh(A)＝Z，此时目标函数(6)转化为：

根据岭回归模型，权重W可计算为：

其中，I∈R^N×N为单位矩阵；

(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本x_test的特征

其中：

φ表示核函数；

所述核函数采用高斯函数：

其中，σ表示高斯函数的标准差。

步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；

所述步骤S4具体为：

步骤S41:根据神经网络的输入权重

计算训练样本的近似稀疏特征

步骤S42:根据

和训练样本的类别标签矩阵T＝[t₁，…，t_N]^T，训练线性分类模型，目标函数为：

其中，β＝[β₁，...，β_K]^T表示分类器的模型参数，C₂为正则系数。

所述β具体为：

步骤S5对于给定的待测样本x_test，首先计算其近似稀疏特征

然后将

送入分类器计算测试样本的分类标签。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，包括以下步骤:

步骤S1:采集数据集，对于图像数据，先将其转化为向量作为训练集样本；

步骤S2:在源域中，采用同伦迭代硬阈值算法求解训练集的稀疏特征；

步骤S3:将源域中得到的稀疏特征迁移到目标域作为真值，训练目标域中单隐层神经网络输入层与隐藏层之间的输入权重；

步骤S4:根据得到的输入权重，计算训练样本的近似稀疏特征，并根据近似稀疏特征和训练样本的类别标签矩阵，训练线性分类模型；

步骤S5:计算待测样本的近似稀疏特征并将其输入分类器，计算得到待测样本的分类标签。

2.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S2具体为：

步骤S21:对于输入训练集X＝{x₁，x₂，...，x_N>∈R^p×N，对于每一个样本x_i∈R^p优化下列目标函数：

其中，D∈R^p×K表示过完备字典，α_i∈R^K为x_i的稀疏特征，λ为正则系数；

步骤S22:根据硬阈值算子，得到解析解：

其中，

[·]_i表示向量的第i个元素，t表示迭代次数，L表示

的Lipschitz常数的上界。

3.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S3具体为：

步骤S31:给定输入样本X＝(x₁，x₂，...，x_N}∈R^p×N及其对应的稀疏特征集A＝{α₁，α₂，...，α_N}∈R^K×N，该神经网络的目标函数表示为：

其中，g(.)表示激活函数，W∈R^d*K表示输入层与隐藏层之间的权重矩阵,常数C₁作为正则项因子；

步骤S32:根据激活函数的形式是否已知，采用对应模型的学习隐藏层特征。

4.根据权利要求3所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S32具体为：

(1)如果激活函数的形式已知，选择tanh函数作为激活函数，即g(x)＝tanh(x)；令tanh(W^TX)＝A，则W^TX＝arctanh(A)＝Z，此时目标函数(6)转化为：

根据岭回归模型，权重W可计算为：

其中，I∈R^N×N为单位矩阵；

(2)如果激活函数的形式未知，根据Mercer条件采用核技术计算测试样本x_test的特征

其中：

φ表示核函数。

5.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述核函数采用高斯函数：

其中，σ表示高斯函数的标准差。

6.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述步骤S4具体为：

步骤S41:根据神经网络的输入权重

计算训练样本的近似稀疏特征

步骤S42:根据

和训练样本的类别标签矩阵T＝[t₁，...，t_N]^T，训练线性分类模型，目标函数为：

其中，β＝[β₁，...，β_K]^T表示分类器的模型参数，C₂为正则系数。

7.根据权利要求1所述的基于迁移学习解决在线复杂优化计算的稀疏特征学习方法，其特征在于，所述β具体为：

Images