CN114139634A - 一种基于成对标签权重的多标签特征选择方法 - Google Patents

Abstract

本发明公开了一种基于成对标签权重的多标签特征选择方法，步骤1、对训练数据集进行离散化处理；步骤2、给定训练数据的特征全集和标签集合；步骤3、初始化已选特征集合为空，设定特征子集维度；步骤4、通过曼哈顿距离和标签相似性设计成对标签权重；步骤5、利用特征相关性和特征冗余性得到完整的多标签特征选择评估标准；步骤6、为每个候选特征计算特征评估标准，选择取得特征评估标准最大值对应的候选特征，将其加入已选特征集合中，并将其从特征全集中剔除；步骤7、如果已选特征集合中特征个数等于设定的维度，则停止；否则重复步骤6；步骤8、将获得的特征子集S应用在多标签数据中，将降维后的数据输入到多标签分类学习模型。

Description

一种基于成对标签权重的多标签特征选择方法

技术领域

本发明属于机器学习与模式识别领域，具体涉及一种基于成对标签权重的多标签特征选择方法。

背景技术

近年来，多标签数据广泛应用于各种现实领域中，如基因功能预测、文本分类和图像语义分类等。多标签数据的主要特点是一个样本可以同时与多个标签相关联。例如，在文本分类任务中，一份新闻文档可能同时与多个主题相关联，如“社会”、“经济”和“法律”。高维的多标签数据往往包含大量不相关和冗余特征，这不仅增加了学习模型的时间成本和存储负担，而且易导致模型的分类性能下降。为解决这些问题，多标签特征选择技术从原始高维特征集合中选择紧凑和有效的特征子集，剔除不相关和冗余特征。多标签特征选择已成为处理高维数据重要的降维技术。

多标签特征选择方法通常分为三类：过滤方法、封装方法和嵌入方法。过滤方法使用独立于任何分类器的评估标准获得特征子集。封装方法利用特定分类器的分类性能来确定特征子集。嵌入方法将分类学习过程与特征选择过程同时进行。与封装和嵌入方法相比，过滤方法更灵活，计算成本更低。本专利发明基于过滤式的多标签特征选择方法。

在过滤方法中，基于信息论的多标签特征选择方法利用独立标签与特征的互信息度量特征相关性或者条件互信息度量特征相关性。在特征相关性的度量中，这些现有方法将标签关系看作是平等的，在现实多标签数据中这种假设是理想化的。实际上，不同标签关系对特征相关性具有不同程度的重要性，所以这种度量方式是不确切的。此外，这些现有方法没有考虑将标签联合起来与特征之间的相关性，忽略了成对标签信息的作用，对特征相关性的度量不准确。因此，本专利发明一种基于成对标签权重的多标签特征选择方法解决以上问题。

发明内容

本发明针对现有技术的不足，提出一种基于成对标签权重的多标签特征选择方法，基于标签相似性设计成对标签权重区分标签关系的不同重要性。引入联合互信息全面度量特征提供的分类信息量，考虑成对标签信息的作用。

一种基于成对标签权重的多标签特征选择方法，

步骤1、对训练数据集进行离散化处理；

步骤2、给定训练数据的特征全集F＝{f₁,f₂,...,f_n}和标签集合L＝{l₁,l₂,...,l_q}，其中，F含有n个特征，L中含有q个标签；

步骤3、初始化已选特征集合S为空，设定特征子集维度K；

步骤4、通过曼哈顿距离和标签相似性设计成对标签权重；

步骤5、利用特征相关性和特征冗余性得到完整的多标签特征选择评估标准；

步骤6、为每个候选特征计算特征评估标准，选择取得特征评估标准最大值对应的候选特征，将其加入已选特征集合S中，并将其从特征全集F中剔除；

步骤7、如果已选特征集合S中特征个数等于设定的维度K，则停止；否则重复步骤6；

步骤8、将获得的特征子集S应用在多标签数据中，将降维后的数据输入到多标签分类学习模型MLKNN中完成学习任务。

作为进一步的优选，步骤1中，利用等间距的分箱法对数据进行离散处理。

作为进一步的优选，所述步骤4还包括：

步骤4.1、计算两个标签之间的曼哈顿距离，标签l_i和标签l_j的曼哈顿距离：

其中，l_ik和l_jk分别表示第k个样本在标签集合L中第i个标签和第j个标签对应的标签取值，m为数据集中的样本个数；

步骤4.2、基于d(l_i,l_j)，计算标签l_i和标签l_j之间的相似性：

步骤4.3、计算成对标签权重：

其中，该式满足0<w(l_i,l_j)<1。

作为进一步的优选，步骤5还包括：

步骤5.1、利用联合互信息计算特征为标签集合提供的分类信息量：

其中，f_k表示候选特征；I(l_i,l_j；f_k)为联合互信息；

步骤5.2、计算特征与标签集合之间的相关性：

其中，FR(f_k；L)将成对标签权重与联合互信息结合起来度量特征相关性；步骤5.3、计算候选特征与已选特征之间的冗余性：

其中，f_j是已选特征集合S中的元素；

步骤5.4、计算特征评估标准J(f_k)：

本发明的有益效果：

本发明充分考虑成对标签与特征之间的相关性，基于标签相似性设计成对标签权重区分标签关系的不同重要性。引入联合互信息全面度量特征提供的分类信息量，考虑成对标签信息的作用。将成对标签权重与联合互信息相结合，提出新的特征相关性度量。最后利用互信息度量特征冗余性，将其与特征相关性相结合，设计一种更符合实际和更准确的特征评估标准，为多标签分类学习提供高质量的输入数据，有效地提高多标签分类模型的分类性能。

本发明针对现有方法未考虑标签关系的不同作用的问题，利用曼哈顿距离计算标签之间的相似性。基于标签相似性，提出成对标签权重度量标签关系的不同重要性。

本发明针对现有方法忽略成对标签信息对特征相关性的作用的问题，将联合互信息与成对标签权重相结合，提出特征相关性的度量，获得更全面和完整的分类信息量。

附图说明

图1为利用多标签选择方法进行多标签特征选择的流程图。

具体实施方式

如图1所示，本发明提供了一种基于成对标签权重的多标签特征选择方法，具体步骤如下：

步骤1、对训练数据集进行离散化处理，利用等间距的分箱法对数据进行离散处理；

步骤2、给定训练数据的特征全集F＝{f₁,f₂,...,f_n}和标签集合L＝{l₁,l₂,...,l_q}，其中集合F含有n个特征，L中含有q个标签；

步骤3、初始化已选特征集合S为空，设定特征子集维度K；

步骤4、计算成对标签权重w，通过曼哈顿距离和标签相似性设计成对标签权重，具体包括如下步骤：

步骤4.1、计算两个标签之间的曼哈顿距离，标签l_i和标签l_j的距离计算公式如下：

其中，l_ik和l_jk分别表示第k个样本在标签集合L中第i个标签和第j个标签对应的标签取值，m为数据集中的样本个数。

步骤4.2、基于d(l_i,l_j)，计算标签l_i和标签l_j之间的相似性，具体计算公式如下：

其中，当两个标签距离越近时，说明标签相似性越高。

步骤4.3、基于标签相似性度量，计算成对标签权重w(l_i,l_j)，具体计算公式如下：

其中，公式中的分子计算两个标签l_i和l_j的相似性，分母计算两个标签l_i和l_j与所有标签的相似程度之和，该式满足0<w(l_i,l_j)<1。当两个标签的相似性在与之相关的所有标签相似性中所占比重越大，说明这两个标签对应的标签关系越重要。因此，利用标签权重度量标签关系的不同重要性，越重要的标签关系对应的标签权重值越大。

步骤5、给定多标签特征选择评估标准，利用特征相关性和特征冗余性设计完整的特征评估标准，具体包括如下步骤：

步骤5.1、利用联合互信息计算特征为标签集合提供的分类信息量，具体计算公式如下：

其中，f_k表示候选特征。I(l_i,l_j；f_k)为联合互信息。根据信息论，联合互信息通过条件互信息与互信息之和计算得到，即：I(l_i,l_j；f_k)＝I(l_i；f_k)+I(l_j；f_k|l_i)。互信息I(l_i；f_k)度量候选特征f_k为标签l_i提供的信息量，条件互信息I(l_j；f_k|l_i)度量给定标签l_i时，f_k为标签l_j提供的信息量。这两者分别代表了候选特征与不同标签的信息量。因此，利用联合互信息结合条件互信息和互信息，可以充分计算特征为标签提供的分类信息量，确保特征提供的信息量更全面且完整。

联合互信息的计算过程如下：

定义信息熵：

其中，p(x_i)代表概率，对数log的底为2。x_i为离散变量X中的某一取值，n为X所有取值的个数。信息熵表示随机变量不确定性的度量。

条件熵：

其中，p(x_i,y_j)代表联合概率，p(x_i|y_j)代表条件概率。y_j为离散变量Y中的某一取值，m为Y所有取值的个数。

条件熵表示当已知一个随机变量的概率分布后，另一个随机变量剩余的不确定量。

互信息：I(X；Y)＝H(X)-H(X|Y)

互信息表示两个随机变量共享的信息量，值越大说明两个变量依赖性越高。

条件互信息：I(X；Y|Z)＝H(X|Z)-H(X|Y,Z)＝H(Y|Z)-H(Y|X,Z)

条件互信息表示当已知随机变量Z的概率分布后，随机变量X和Y之间共享的信息量。

联合互信息：I(X,Y；Z)＝I(X；Z)+I(Y；Z|X)＝I(Y；Z)+I(X；Z|Y)

联合互信息表示联合随机变量(X,Y)和变量Z之间共享的信息量。

步骤5.2、计算特征与标签集合之间的相关性，具体计算公式如下：

其中，q是标签个数。FR(f_k；L)将成对标签权重与联合互信息结合起来度量特征相关性，在充分计算特征为标签提供的分类信息量的同时，可以有效地考虑不同标签关系的重要性。FR(f_k；L)突出强调特征为更重要的标签关系提供的分类信息。

步骤5.3、计算候选特征与已选特征之间的冗余性，具体计算公式如下：

其中，f_j是已选特征集合S中的元素。

步骤5.4、基于特征相关性FR(f_k；L)和特征冗余性Re(f_k；S)，计算特征评估标准J(f_k)，具体计算公式如下：

步骤6、为每个候选特征计算特征评估标准，选择取得特征评估标准最大值对应的候选特征，将其索引加入已选特征集合S中，并将其从特征集合F中剔除；

步骤7、如果已选特征集合S中特征个数等于设定的维度K，则停止。否则重复步骤6；

步骤8、将获得的特征子集S应用在多标签数据中，将降维后的数据输入到多标签分类学习模型(Multi-Label adapted K-Nearest Neighbor,MLKNN)中完成学习任务)。

实施例：

观察Health数据集是一个典型的多标签数据集，其中包括5000个样本，612个特征，32个标签。训练集由2000个样本组成，剩余3000个样本组成测试集。

根据图1发明的特征选择方法流程图的步骤，首先对Health数据进行离散化处理，将其离散为3箱数据。输入离散后的Health训练数据集，设定特征子集维度K为10。通过本发明的特征选择方法选择的特征子集结果为S＝{10,1,7,12,3,21,4,2,0,11}。然后根据已选特征子集S创建降维后的训练数据集来训练MLKNN分类器模型(K＝10)，得到MLKNN_FS模型。

使用Average Precision(AP)、Coverage Error(CE)、Zero One Loss(ZOL)、Hamming Loss(HL)和Ranking Loss(RL)作为评价多标签分类模型的评价指标。将MLKNN_FS分类模型与不经过特征选择，直接用包含全部特征的训练数据集来训练的MLKNN模型进行对比实验。代入测试数据集，分别得到两个分类模型的5个分类指标的实验结果。将以上数据汇聚成表格如下：

表1 MLKNN_FS模型和MLKNN模型分类性能的对比

表1中Average Precision(AP)指标取值越大分类性能越好，Coverage Error(CE)、Zero One Loss(ZOL)、Hamming Loss(HL)和Ranking Loss(RL)指标取值越小分类性能越好。由表中实验结果表明通过特征选择之后MLKNN_FS分类器在多个分类指标上均比MLKNN分类器性能更优。这表明本发明的多标签特征选择方法可以有效地提高多标签分类学习模型的分类性能。

Claims (4)

1.一种基于成对标签权重的多标签特征选择方法，其特征在于：

步骤1、对训练数据集进行离散化处理；

步骤2、给定训练数据的特征全集F＝{f₁,f₂,...,f_n}和标签集合L＝{l₁,l₂,...,l_q}，其中，F含有n个特征，L中含有q个标签；

步骤3、初始化已选特征集合S为空，设定特征子集维度K；

步骤4、通过曼哈顿距离和标签相似性设计成对标签权重；

步骤5、利用特征相关性和特征冗余性得到完整的多标签特征选择评估标准；

步骤6、为每个候选特征计算特征评估标准，选择取得特征评估标准最大值对应的候选特征，将其加入已选特征集合S中，并将其从特征全集F中剔除；

步骤7、如果已选特征集合S中特征个数等于设定的维度K，则停止；否则重复步骤6；

步骤8、将获得的特征子集S应用在多标签数据中，将降维后的数据输入到多标签分类学习模型MLKNN中完成学习任务。

2.根据权利要求1所述的基于条件互信息和交互信息的多标签特征选择方法，其特征在于，步骤1中，利用等间距的分箱法对数据进行离散处理。

3.根据权利要求1所述的基于条件互信息和交互信息的多标签特征选择方法，其特征在于，所述步骤4还包括：

步骤4.1、计算两个标签之间的曼哈顿距离，标签l_i和标签l_j的曼哈顿距离：

其中，l_ik和l_jk分别表示第k个样本在标签集合L中第i个标签和第j个标签对应的标签取值，m为数据集中的样本个数；

步骤4.2、基于d(l_i,l_j)，计算标签l_i和标签l_j之间的相似性：

步骤4.3、计算成对标签权重：

其中，该式满足0<w(l_i,l_j)<1。

4.根据权利要求1所述的基于条件互信息和交互信息的多标签特征选择方法，其特征在于，步骤5还包括：

步骤5.1、利用联合互信息计算特征为标签集合提供的分类信息量：

其中，f_k表示候选特征；I(l_i,l_j；f_k)为联合互信息；

步骤5.2、计算特征与标签集合之间的相关性：

其中，FR(f_k；L)将成对标签权重与联合互信息结合起来度量特征相关性；

步骤5.3、计算候选特征与已选特征之间的冗余性：

其中，f_j是已选特征集合S中的元素；

步骤5.4、计算特征评估标准J(f_k)：

Images