CN111931562A - 一种基于软标签回归的无监督特征选择方法和*** - Google Patents

Abstract

本公开公开的一种基于软标签回归的无监督特征选择方法和***，包括：获取遥感图像作为数据样本，对获取的数据样本进行特征提取，得到特征数据集；基于模糊聚类学习数据样本的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签和特征选择矩阵学习，构建基于软标签回归的无监督特征选择的目标函数；求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；基于特征选择矩阵计算各个特征的重要性指标，将特征按照重要性指标从大到小排序，选择前k个特征构成特征子集，通过获取的特征子集对遥感图像进行分类。将软标签学习和特征选择矩阵学习建立了关联，求解了遥感图像更具判别性的特征子集，提高了遥感图像识别的准确性。

Description

一种基于软标签回归的无监督特征选择方法和***

技术领域

本公开涉及一种基于软标签回归的无监督特征选择方法和***。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

遥感图像分类是遥感图像处理和分析领域的一个研究热点，随着观测技术的发展，遥感数据日益丰富，遥感图像的特征维数也越来越高，一方面，高维数据提供了愈加丰富的特征信息，另一方面，高维特征数据中存在的冗余和噪声特征增加了分类算法的计算量，并且严重影响分类效果。

特征选择作为处理高维特征数据的有效方法，在各领域中发挥着越来越重要的作用，受到越来越多的关注，特征选择是基于一定准则，通过去除高维特征数据中的冗余和噪声特征，选择出具有判别性的特征子集，在保留数据语义信息的同时，降低问题的复杂度，提高后续算法的性能，根据是否依赖数据标签，现有的特征选择方法可以分为两大类，有监督特征选择和无监督特征选择，有监督特征选择通过计算特征与数据标签的相关程度来判断特征的重要性，但随着高维特征数据的数量急剧增加，标记数据费时费力，这导致有监督特征选择的扩展性受限。无监督特征选择方法自动选择具有判别性的特征子集来降低特征维度，更具现实意义。

目前已经有多种无监督特征选择方法被提出，由于原始数据没有标签信息，大多数的现有方法需首先在原始数据空间中学习一组硬标签，然后用学习到的硬标签指导特征选择过程，但这种策略存在以下问题：(1)由于高维数据包含大量的冗余和噪声特征，所以从原始数据空间中学习到的数据标签是不准确的；(2)模糊性是数据普遍存在的一种特性，大部分情况下，一个样本不是严格属于某个类或者严格不属于某个类，而是以一定的隶属度从属于所有类，所以硬标签不符合数据本身的模糊性，无法对后续特征选择提供有效指导；(3)标签学习和特征选择被分成两个相互独立的过程，学习到的数据标签与后续特征选择过程不能最佳兼容，使算法产生次优的结果，现有的遥感图像分类的过程中，存在无法提取遥感图像最具判别型的特征，从而影响遥感图像的分类效果的技术问题。

发明内容

本公开为了解决上述问题，提出了一种基于软标签回归的无监督特征选择方法和***，通过构建软标签和特征选择矩阵的联合学习框架，获取了遥感图像中最具判别性的特征。

本公开的第一目的是，提出一种基于软标签回归的无监督特征选择方法，包括：

获取遥感图像作为数据样本；

对数据样本进行特征提取，得到特征数据集；

基于模糊聚类学习数据样本的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签学习和特征选择矩阵学习，构建基于软标签回归的无监督特征选择的目标函数；

求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；

基于特征选择矩阵，计算各个特征的重要性指标，将特征按照重要性指标从大到小排序，选择前k个特征构成特征子集；

特征子集用于对遥感图像进行分类。

进一步，基于模糊聚类学习数据样本的软标签时，引入投影矩阵，将数据样本投影到低维空间，在低维空间中，基于模糊聚类学习数据样本的软标签，软标签的学习目标函数为：

其中，n是数据样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的第i行第j列的元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，设u＝W^Tx_i-m_j∈R^m×1，||u||₂表示向量u的L₂范数，||Y||_F为矩阵Y的F范数。

进一步的，特征选择矩阵学习的目标函数为：

其中，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，||P||_2,1表示矩阵P的L_2,1范数。

进一步的，基于软标签回归的无监督特征选择的目标函数为：

其中，第一项表示在低维空间中，基于模糊聚类学习数据样本的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数。

进一步的，采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵，具体为：

对目标函数中投影矩阵W、聚类中心m_j、软标签矩阵Y和特征选择矩阵P的四个变量，固定任意三个变量，求解第四个变量。

进一步的，特征选择矩阵中第j个行向量的L₂范数表示第j个特征的重要性指标。

本公开的第二目的是，提出一种基于软标签回归的无监督特征选择***，包括：

数据集获取模块，其被配置为获取遥感图像构建数据样本，并对数据样本进行特征提取，得到特征数据集；

目标函数构造模块，其被配置为引入投影矩阵，将原始数据投影到低维空间，在低维空间中，基于模糊聚类学习数据的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签学习和特征选择矩阵学习，构造基于软标签回归的无监督特征选择的目标函数；

目标函数求解模块，其被配置为求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；

特征选择模块，其被配置为根据特征选择矩阵计算各个特征的重要性指标，将特征按照所述重要性指标从大到小排序，选择前k个特征构成特征子集；

图像识别模块，其被配置为根据获取的特征子集对遥感图像进行分类。

进一步的，基于软标签回归的无监督特征选择的目标函数为：

其中，第一项表示在低维空间中，基于模糊聚类学习数据样本的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数，n是数据样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的第i行第j列的元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，||P||_2,1表示矩阵P的L_2,1范数。

进一步的，采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数。

进一步的，特征选择矩阵中第j个行向量的L₂范数表示第j个特征的重要性指标。

与现有技术相比，本公开的有益效果为：

1、本公开在对遥感图像获取特征子集时，构建了软标签和特征选择矩阵的联合学习框架，计算了特征选择矩阵，基于特征选择矩阵，计算了各特征的重要性指标，将特征依重要性指标进行了排序，提取了重要性指标靠前的特征，获得了更具判别性的特征子集。

2、本公开利用投影矩阵，将遥感图像转化到低维空间；在低维空间中，基于模糊聚类，学习数据的稀疏隶属度矩阵，将学习到的稀疏隶属度矩阵作为数据软标签，对后续特征选择过程提供语义监督；在软标签的指导下，通过回归模型学习特征选择矩阵，并利用L_2，1范数对特征选择矩阵施加行稀疏约束；在联合学习框架中，软标签可以指导特征选择矩阵的学习，更新后的特征选择矩阵有助于获取更准确的软标签，两者相互促进，获得最具判别性的特征子集，用该特征子集用于遥感图像的分类识别，提高了识别的准确率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开的基于软标签回归的无监督特征选择方法流程图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

遥感图像分类是遥感图像处理和分析领域的一个研究热点，随着观测技术的发展，遥感数据日益丰富，遥感图像的特征维数也越来越高，一方面高维特征提供了愈加丰富的特征信息，另一方面，高维特征中存在的冗余和噪声特征增加了分类算法的计算量，并且严重影响分类效果。

在该实施例中，公开了一种基于软标签回归的无监督特征选择方法，包括：

S1：选取遥感图像作为数据样本，对获取的每个数据样本进行特征提取，得到特征数据集X∈R^n×d，其中，n表示样本点的个数，d表示特征的维度。

S2：引入投影矩阵，将数据样本投影到低维空间，在低维空间中，基于模糊聚类学习数据的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签学习和特征选择矩阵学习，构造基于软标签回归的无监督特征选择的目标函数。

S21：学习数据的软标签。

数据的模糊性是数据普遍存在的一种特性，大部分情况下，一个样本不是严格属于某个类或者严格不属于某个类，而是以一定的概率，即隶属度从属于所有类。

在低维空间中，基于模糊聚类学习数据的稀疏隶属度矩阵，将学习到的稀疏隶属度矩阵作为软标签，指导后续特征选择矩阵的学习。软标签学习目标函数如下：

其中，n是样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中的特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的一个元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，设u＝W^Tx_i-m_j∈R^m×1，

表示向量u的L₂范数，

为矩阵Y的Frobenius范数，简称F范数。第一项表示低维空间中的模糊聚类，投影矩阵W的引入能够降低数据样本空间中冗余和噪声特征的影响，将最重要的信息保留在软标签Y中，保证了性能，降低了计算复杂度；第二项表示隶属度矩阵Y的稀疏约束，稀疏约束考虑到了每个数据样本被分配到不同类的成员稀疏性，最小化

就是尽可能将每个数据样本分配给多个类，而不是单个类。

S22：学习特征选择矩阵。在软标签的指导下，通过回归模型学习特征选择矩阵，并利用L_2，1范数对特征选择矩阵施加行稀疏约束，特征选择矩阵学习的目标函数为：

其中，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，

表示矩阵P的L_2,1范数。第一项表示软标签回归，第二项是正则化项，L_2,1范数可以使特征选择矩阵能更好地处理冗余和噪声特征。最小化回归模型和正则化项使特征选择矩阵能够评估原始特征和软标签之间的相关性，从而可以通过矩阵P选择重要的特征构成待选特征子集。

S23：联合学习框架。传统方法将标签学习和特征选择分成两个独立的过程，使得学习到的标签与后续特征选择不能最佳兼容，这会导致次优的特征选择效果，为了解决这一问题，将软标签学习和特征选择矩阵学习整合到一个联合学习框架中，得到基于软标签回归的无监督特征选择的整体目标函数如下：

其中，第一项表示在低维空间中，基于模糊聚类学习数据的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数，用于调节各项在联合学习框架中的重要性。

在联合学习框架中，软标签可以指导特征选择矩阵的学习，更新后的特征选择矩阵有助于获取更准确的软标签，两者相互促进。

S3：采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵。

S31：固定其他变量求解聚类中心m_j。目标函数变为：

因为每一个聚类中心都是独立的，所以公式(4)可以分成如下的c个子问题：

公式(5)是凸函数，可以采用拉格朗日乘子法求解，对公式(5)求导，并将导数设置为0，可以得到：

S32：固定其他变量求解投影矩阵W。目标函数变为：

将公式(6)代入公式(7)，简化之后可以得到：

其中，

其中，

定义的是第j个类的均值向量，S_w是类内散射矩阵，表示的是每类数据的离散化的程度，S_w越小，离散程度就越高，W∈R^d×m的最优解就是S_w的前m个最小特征值对应的特征向量。

S33：固定其他变量求解特征选择矩阵P。目标函数变为：

公式(10)是不可微的，因此转化公式(10)为以下等价形式：

其中，Γ∈R^d×d是对角矩阵，第i个对角元素是

ε是一个足够小的常数，用来避免||P_i'||₂为0的情况，通过对上式求导，并将导数设为0，可以得到：

S34：固定其他变量求解隶属度矩阵Y。目标函数变为：

即：

因为每一个样本x_i对应的隶属度向量y_i都是独立的，所以将公式(14)分成如下的n个子问题：

其中，

是距离矩阵D中第i行第j列的元素。经过简化，公式(15)可以写成如下形式：

公式(16)的拉格朗日函数如下：

η和θ是拉格朗日乘子，根据拉格朗日乘子法和KKT条件可以得到：

因为

所以：

所以：

S4：根据特征选择矩阵计算各个特征的重要性指标，将特征按照所述重要性指标从大到小排序，选择前k个特征构成特征子集，其中，k是需要选择的特征数。

特征数据集中的第j个特征与特征选择矩阵P∈R^d×c中第j个行向量p_j是一一对应的，p_j的L₂范数||p_j||₂表示第j个特征的重要性指标，在最小化稀疏回归模型的过程中，如果原始特征集中的第j个特征与软标签的相关性较低，那么特征选择矩阵中对应的行向量P_j中的数值的将会接近于0，因此，将特征按照重要性指标从大到小排序，选择前k个特征构成特征子集，其中，k是需要选择的特征数。

S5：通过获取的特征子集构建分类器，利用分类器对遥感图像进行分类。

实施例2

在该实施例中，公开了一种基于软标签回归的无监督特征选择***，包括：

数据集获取模块，其被配置为获取遥感图像作为数据样本，对获取的每个数据样本进行特征提取，得到特征数据集；

目标函数构造模块，其被配置为引入投影矩阵，将原始数据投影到低维空间，在低维空间中，基于模糊聚类学习数据的软标签，通过稀疏回归模型学习特征选择矩阵，建立软标签和特征选择矩阵的联合学习框架，获得基于软标签回归的无监督特征选择的目标函数，基于软标签回归的无监督特征选择的目标函数为：

其中，第一项表示在低维空间中，基于模糊聚类学习数据样本的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数，n是数据样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的第i行第j列的元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，||P||_2,1表示矩阵P的L_2,1范数；

目标函数求解模块，其被配置为采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；

特征选择模块，其被配置为根据特征选择矩阵计算各个特征的重要性指标，将特征按照所述重要性指标从大到小排序，选择前k个特征构成特征子集，其中，k是需要选择的特征数，其中，特征选择矩阵中第j个行向量的L₂范数表示第j个特征的重要性指标；

图像识别模块，其被配置为根据获取的特征子集构建分类器，通过分类器对遥感图像进行分类。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于软标签回归的无监督特征选择方法，其特征在于，包括：

获取遥感图像作为数据样本，对获取的数据样本进行特征提取，得到特征数据集；

基于模糊聚类学习数据样本的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签学习和特征选择矩阵学习，构建基于软标签回归的无监督特征选择的目标函数；

求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；

基于特征选择矩阵，计算各个特征的重要性指标，将特征按照所述重要性指标从大到小排序，选择前k个特征构成特征子集；

根据获取的特征子集对遥感图像进行识别。

2.如权利要求1所述的一种基于软标签回归的无监督特征选择方法，其特征在于，基于模糊聚类学习数据样本的软标签时，引入投影矩阵，将数据样本投影到低维空间，在低维空间中，基于模糊聚类学习数据样本的软标签，软标签的学习目标函数为：

其中，n是数据样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的第i行第j列的元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，设u＝W^Tx_i-m_j∈R^m×1，||u||₂表示向量u的L₂范数，||Y||_F为矩阵Y的F范数。

3.如权利要求2所述的一种基于软标签回归的无监督特征选择方法，其特征在于，特征选择矩阵学习的目标函数为：

其中，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，||P||_2,1表示矩阵P的L_2,1范数。

4.如权利要求3所述的一种基于软标签回归的无监督特征选择方法，其特征在于，基于软标签回归的无监督特征选择的目标函数为：

其中，第一项表示在低维空间中，基于模糊聚类学习数据样本的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数。

5.如权利要求4所述的一种基于软标签回归的无监督特征选择方法，其特征在于，采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵，具体为：

对目标函数中投影矩阵W、聚类中心m_j、软标签矩阵Y和特征选择矩阵P的四个变量，固定任意三个变量，求解第四个变量。

6.如权利要求1所述的一种基于软标签回归的无监督特征选择方法，其特征在于，特征选择矩阵中第j个行向量的L₂范数表示第j个特征的重要性指标。

7.一种基于软标签回归的无监督特征选择***，其特征在于，包括：

数据集获取模块，其被配置为，获取遥感图像作为数据样本，并对获取的数据样本进行特征提取，得到特征数据集；

目标函数构造模块，其被配置为引入投影矩阵，将原始数据投影到低维空间，在低维空间中，基于模糊聚类学习数据的软标签，通过稀疏回归模型学习特征选择矩阵，基于软标签学习和特征选择矩阵学习，构造基于软标签回归的无监督特征选择的目标函数；

目标函数求解模块，其被配置为求解基于软标签回归的无监督特征选择的目标函数，得到特征选择矩阵；

特征选择模块，其被配置为根据特征选择矩阵计算各个特征的重要性指标，将特征按照所述重要性指标从大到小排序，选择前k个特征构成特征子集，其中，k是需要选择的特征数；

图像识别模块，其被配置为根据获取的特征子集对遥感图像进行分类。

8.如权利要求7所述的一种基于软标签回归的无监督特征选择***，其特征在于，基于软标签回归的无监督特征选择的目标函数为：

其中，第一项表示在低维空间中，基于模糊聚类学习数据样本的软标签，第二项表示通过回归模型学习特征选择矩阵，第三项是利用F范数对软标签施加稀疏约束，第四项是利用L_2,1范数最小化将特征选择矩阵约束为行稀疏，α，β和γ是各项的权重参数，n是数据样本数，c是聚类数，W∈R^d×m是投影矩阵，d是特征数据集中特征维度，m是投影后的特征维度，W^T表示矩阵W的转置，x_i是第i个样本点，m_j是第j个聚类中心，y_ij是隶属度矩阵Y∈R^n×c中的第i行第j列的元素，表示第i个样本点属于第j个类的概率，I表示元素全为1的向量，X∈R^n×d是特征数据集，P∈R^d×c是特征选择矩阵，||P||_2,1表示矩阵P的L_2,1范数。

9.如权利要求7所述的一种基于软标签回归的无监督特征选择***，其特征在于，采用迭代优化方法求解基于软标签回归的无监督特征选择的目标函数。

10.如权利要求7所述的一种基于软标签回归的无监督特征选择***，其特征在于，特征选择矩阵中第j个行向量的L₂范数表示第j个特征的重要性指标。

Images