CN104991974A - 一种基于粒子群算法的多标签分类方法 - Google Patents

Abstract

本发明提供了一种基于粒子群算法的多标签分类方法包括优化阶段和分类阶段。优化阶段是采用粒子群算法优化特征加权KNN算法的特征权值；分类阶段是将优化阶段得出的特征权值应用到特征加权KNN算法中给测试样本X进行分类，最终输出测试集中所有样本的标签，即分类完成。本发明能够找到最优的特征权值来消除数据集中的特征(计算距离时是指属性值)的冗余或是不相关，从而减少了距离偏差，提高了分类的准确度。

Description

一种基于粒子群算法的多标签分类方法

技术领域

本发明属于多标签分类技术领域，具体涉及一种基于粒子群算法的多标签分类方法。

背景技术

多标签分类问题的研究是被文本分类推动的，现代，许多实际应用都是多标签分类问题，比如场景分类、蛋白质功能分析、电影分类和音乐归类。多标签数据集中的样本拥有多个标签，怎样建立和求解这样的最优化问题是要解决的重要问题。算法的实现虽有一定的难度，但其优点是它没有改变数据集的结构，没有破坏类别之间的关联关系，反映了多标签分类的特殊性质。根据建立最优化问题的不同方法，该算法也可以分成多种不同的形式，如：基于Adaboost算法的多标签分类算法、使用决策树方法扩展的多标签分类算法、多标签支持向量机算法、多标签k近邻算法(KNN算法)、多标签最大化熵算法。但是这些算法会由于特征值的冗余或不相关而造成计算误差。

发明内容

本发明目的之一在于为克服现有技术的缺陷，提供了一种精确度高的基于粒子群算法的多标签分类方法。

本发明提供的一种基于粒子群算法的多标签分类方法，包括优化阶段和分类阶段：

S10：优化阶段是采用粒子群算法优化特征加权KNN算法的特征权值，具体包括如下步骤：

S11：采用随机方法初始化粒子群，每个粒子的位置和速度的维度为n，其位置对应数据集中一条记录的特征权值向量w＝(w₁，w₂,···，w_n)：其中有

$\underset{i-1}{\overset{n}{\Σ}}{w}_i=1;$

S12：计算适应值，进而求出局部最优解和全局最优解：

在计算适应值时，将粒子的位置即特征权值应用到特征加权KNN算法中，将原训练样本集中前70％当做新的训练样本，后30％当做新的预测样本集，对此预测样本集进行分类，算出分类的准确度，准确度越高越符合适应值；

预测样本集每条记录的原始标签为li＝(li1,li2,···,lin)，分类过后的预测标签为lj＝(lj1,lj2,···,ljn)，li与l_j与重合个数为sum，那么准确率Accruay＝sum/n；

S20：分类阶段：

将优化阶段得出的特征权值应用到特征加权KNN算法中给测试样本X进行分类，最终输出测试集中所有样本的标签，即分类完成。

进一步的，所述粒子群算法包括如下步骤：

SA1：初始化微粒群，其中包括初始化整个粒子群的位置xi＝(x_i1,x_i2,···x_id)^T和速度vi＝(v_i1,v_i2,···,v_id)^T及局部最优和整体最优，其中id表示第i代中第d个粒子。

SA2：计算每个粒子在当前位置处的适应度值fitness_id＝f(x_id)。然后根据适应度值的大小，初始化局部最优解pbest_i＝fitness_i和整体最优解gbest＝min(fintess₁,fitness₂,···,fitness_N),i＝1,2,···，N；

SA3：在每次迭代过程中，每个粒子根据以下准则来更新自己的位置和速度

v_id(t+1)＝wv_id(t)+c₁r₁(p_ld-x_id(t))+c₂r₂(p_gd-x_id(t))

x_id(t+1)＝x_id(t)+v_id(t+1)

其中v_id为粒子的速度，x_id为粒子的位置，w为惯性权重，c1和c2为加速度系数，r₁和r₂是随机数，P_ld为全局最优解而P_gd为局部最优解；

SA4：更新局部最优解pbest_i和整体最优解gbest；

SA5：如果整体最优解gbest达到设定的阈值或者已经达到最大迭代次数，算法即可终止计算；否则跳转至步骤SA3。

进一步的，所述特征加权KNN算法具体包括如下步骤：

SB1：输入m个训练样本，并设定k值大小；

SB2：先随机选择训练集中的A[1]～A[k]样本作为待预测样本X的k个初始最邻近节点；

SB3：计算待预测样本X与每个初始k个最邻近节点的加权欧几里得距离wd(X,A[i]),i＝1,2,.....,k)，计算距离公式为：

$wd(X,A\[i\])=\sqrt{\underset{l=1}{\overset{n}{\Σ}}{w}_l{(X_l-A{\[i\]}_l)}^2},$

其中n表示样本A[i]属性个数，即A[i]＝(A[i]1，A[i]2，A[i]3，···A[i]n)；

SB4：将所述步骤SB3中求得到的距离wd(X,A[i])按升序排序，求得距离wd(X,A[i])的最远距离maxD＝max{d(X,A[i])|i＝1,2,.....,k}；

SB5：依次计算训练集中剩下记录与待测样本X的距离，并与所述步骤SB4中求得的最远距离maxD相比，若比最远距离maxD小，则将最远距离maxD更新为该记录与待测样本X的距离值，并且再按升序对距离wd(X,A[i])排序；

SB6：计算出现在距离wd(X,A[i])序列中的每条记录的标签的出现次数，并按照出现次数的高低排序；

SB7：将所述步骤SB6中排序得到的前L个标签作为样本X的标签。

本发明的有益效果在于，本方法能够找到最优的特征权值来消除数据集中的特征(计算距离时是指属性值)的冗余或是不相关，从而减少了距离偏差，提高了分类的准确度。

附图说明

图1所示为本发明基于粒子群算法的多标签分类方法流程图。

具体实施方式

下文将结合具体实施例详细描述本发明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。

如图1所示，本发明提供的一种基于粒子群算法的多标签分类方法包括优化阶段和分类阶段：

优化阶段是采用粒子群(Particle Swarm Optimization，PSO)算法优化特征加权KNN算法的特征权值，具体步骤如下：

S10：优化阶段是采用粒子群算法优化特征加权KNN算法的特征权值，具体包括如下步骤：

S11：采用随机方法初始化粒子群，每个粒子的位置和速度的维度为n，其位置对应数据集中一条记录的特征权值向量w＝(w₁，w₂,···，w_n)：其中有

$\underset{i-1}{\overset{n}{\Σ}}{w}_i=1;$

S12：计算适应值，进而求出局部最优解和全局最优解：

在计算适应值时，将粒子的位置即特征权值应用到特征加权KNN算法中，将原训练样本集中前70％当做新的训练样本，后30％当做新的预测样本集，对此预测样本集进行分类，算出分类的准确度，准确度越高越符合适应值；

预测样本集每条记录的原始标签为li＝(li1,li2,···,lin)，分类过后的预测标签为lj＝(lj1,lj2,···,ljn)，li与l_j与重合个数为sum，那么准确率Accruay＝sum/n；

S20：分类阶段：

将优化阶段得出的特征权值应用到特征加权KNN算法中给测试样本X进行分类，最终输出测试集中所有样本的标签，完成分类。

粒子群算法是属于演化算法的一种，是一种基于迭代的优化算法，***初始化为一组随机解，通过迭代搜寻最优值。但是它没有使用交叉(crossover)以及变异(mutation)，而是粒子在解空间追随最优的粒子进行搜索，PSO的优势在于简单容易实现并且没有许多参数需要调整。它的每个粒子群里都有很多粒子，每个粒子都有它的位置x和速度v两个变量，每产生一代新的粒子群里都有一个粒子的位置最好，这个粒子就是这一代的局部最优解pbest_i，从局部最优解中产生全局最优解gbest。

粒子群算法包括如下步骤：

SA1：初始化微粒群，其中包括初始化整个粒子群的位置xi＝(x_i1,x_i2,···x_id)^T和速度vi＝(v_i1,v_i2,···,v_id)^T及局部最优和整体最优，其中id表示第i代中第d个粒子。

SA2：计算每个粒子在当前位置处的适应度值fitness_id＝f(x_id)。然后根据适应度值的大小，初始化局部最优解pbest_i＝fitness_i和整体最优解gbest＝min(fintess₁,fitness₂,···,fitness_N),i＝1,2,···，N。

SA3：在每次迭代过程中，每个粒子根据以下准则来更新自己的位置和速度：

v_id(t+1)＝wv_id(t)+c₁r₁(p_ld-x_id(t))+c₂r₂(p_gd-x_id(t))

x_id(t+1)＝x_id(t)+v_id(t+1)

其中v_id为粒子的速度，x_id为粒子的位置，w为惯性权重，c1和c2为加速度系数，r₁和r₂是随机数，P_ld为全局最优解而P_gd为局部最优解；

SA4：更新局部最优解pbest_i和整体最优解gbest；

SA5：如果整体最优解gbest达到设定的阈值或者已经达到最大迭代次数，算法即可终止计算；否则跳转到步骤SA3。

特征加权KNN算法具体包括如下步骤：

SB1：输入m个训练样本，并设定k值大小；

SB2：先随机选择训练集中的A[1]～A[k]样本作为待预测样本X的k个初始最邻近节点；

SB3：计算待预测样本X与每个初始k个最邻近节点的加权欧几里得距离wd(X,A[i]),i＝1,2,.....,k)，计算距离公式为：

$wd(X,A\[i\])=\sqrt{\underset{l=1}{\overset{n}{\Σ}}{w}_l{(X_l-A{\[i\]}_l)}^2},$

其中n表示样本A[i]属性个数，即A[i]＝(A[i]1，A[i]2，A[i]3，···A[i]n)；

SB4：将所述步骤SB3中求得到的距离wd(X,A[i])按升序排序，求得距离wd(X,A[i])的最远距离maxD＝max{d(X,A[i])|i＝1,2,.....,k}；

SB5：依次计算训练集中剩下记录与待测样本X的距离，并与所述步骤SB4中求得的最远距离maxD相比，若比最远距离maxD小，则将最远距离maxD更新为该记录与待测样本X的距离值，并且再按升序对距离wd(X,A[i])排序；

SB6：计算出现在距离wd(X,A[i])序列中的每条记录的标签的出现次数，并按照出现次数的高低排序；

SB7：将所述步骤SB6中排序得到的前L个标签作为样本X的标签。

为验证本发明的有效性，进行如下实验：

试验独立运行10次，粒子数为50，迭代次数为100，惯性权重w＝1,学习因子c1＝c2＝2，为节省时间，最邻近节点数目K＝1。

表1列出的是本试验的四个数据集，它们均是机器学习常用的数据集，为了使数据特征之间具有可比性，已对数据集进行了标准化处理，训练集实例和测试集实例各占总实例的70％和30％：

表1：数据集

数据集	属性数目	类别数目	训练集实例	测试集实例
					CAL500	68	174	351	151
Emotions	72	6	391	202
					Scene	294	6	1211	1196
Yeast	8	10	1039	445

实验结果与分析：

表2给出了无权值的KNN算法、WKNN-DIS和本发明提供的基于粒子群算法的多标签PSOKNN算法在不同测试集上的性能比较，其中WKNN-DIS是基于距离的KNN方法，特征加权KNN算法是讨论因为不同特征对标签的影响程度不同，会造成分类的误差。而WKNN-DIS是基于欧几里得距离的算法，因为距离的不同对标签的影响程度也不同，一般来说，距离越近的训练样本对于待分类的样本影响越大，所占权重也越大。WKNN-DIS与PSOKNN相似，其距离的权重也是由优化算法优化而来，此试验中选择和PSOKNN一样的粒子群算法。

表2：算法在测试集上的准确率比较

其中平均准确率是PSOKNN(或WKNN-DIS)算法10次实验结果的平均值，前10、20、30位的准确率是指将最后一代的个体按照适应值的大小排序，然后将排名前10、20、30位的个体对应的权重组合分别应用到分类中，对准确率求平均值，进行10次试验后对每次实验所求平均值再求平均值，这就是前10、20、30位准确率的由来。

通过实验结果可以看出WKNN-DIS普遍比原始KNN方法在各个数据集的准确率高，而PSOKNN方法又普遍比WKNN-DIS方法好。因为PSOKNN方法最主要是找到最优的特征权值来尽量消除数据集中的特征(计算距离时是指属性值)的冗余或是不相关。其他两种方法都没这个功能，所以其它两种方法在计算最近距离时会有误差，因为最近距离是通过属性用合理地距离公式计算出来的，所以对属性的值依赖性较高，当冗余度较高时，偏差就会影响分类的准确性。所以本文提出用演化计算的方法得出优化的特征权值，减少距离偏差，提高了分类的准确度，也提出了可行有效地自适应分类器。

本文虽然已经给出了本发明的一些实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。

Claims (3)

1.一种基于粒子群算法的多标签分类方法，其特征在于，包括优化阶段和分类阶段：

S10：优化阶段是采用粒子群算法优化特征加权KNN算法的特征权值，具体包括如下步骤：

S11：采用随机方法初始化粒子群，每个粒子的位置和速度的维度为n，每个粒子的位置对应数据集中一条记录的特征权值向量w＝(w₁，w₂,···，w_n)：其中有

$\underset{i-1}{\overset{n}{\Σ}}{w}_i=1;$

S12：计算适应值，进而求出局部最优解和全局最优解：

在计算适应值时，将粒子的位置即特征权值应用到特征加权KNN算法中，将原训练样本集中前70％当做新的训练样本，后30％当做新的预测样本集，对此预测样本集进行分类，算出分类的准确度，准确度越高越符合适应值；

预测样本集每条记录的原始标签为li＝(li1,li2,···,lin)，分类过后的预测标签为lj＝(lj1,lj2,···,ljn)，li与l_j与重合个数为sum，那么准确率Accruay＝sum/n；

S20：分类阶段：

将优化阶段得出的特征权值应用到特征加权KNN算法中给测试样本X进行分类，最终输出测试集中所有样本的标签，完成分类。

2.如权利要求1所述的一种基于粒子群算法的多标签分类方法，其特征在于，所述粒子群算法包括如下步骤：

SA1：初始化微粒群，其中包括初始化整个粒子群的位置xi＝(x_i1,x_i2,···x_id)^T和速度vi＝(v_i1,v_i2,···,v_id)^T及局部最优和整体最优，其中id表示第i代中第d个粒子；

SA2：计算每个粒子在当前位置处的适应度值fitness_id＝f(x_id)。然后根据适应度值的大小，初始化局部最优解pbest_i＝fitness_i和整体最优解gbest＝min(fintess₁,fitness₂,···,fitness_N),i＝1,2,···，N；

SA3：在每次迭代过程中，每个粒子根据以下准则来更新自己的位置和速度：

v_id(t+1)＝wv_id(t)+c₁r₁(p_ld-x_id(t))+c₂r₂(p_gd-x_id(t))

x_id(t+1)＝x_id(t)+v_id(t+1)

其中v_id为粒子的速度，x_id为粒子的位置，w为惯性权重，c1和c2为加速度系数，r₁和r₂是随机数，P_ld为全局最优解而P_gd为局部最优解；

SA4：更新局部最优解pbest_i和整体最优解gbest；

SA5：如果整体最优解gbest达到设定的阈值或者已经达到最大迭代次数，算法即可终止计算；否则跳转至步骤SA3。

3.如权利要求1所述的一种基于粒子群算法的多标签分类方法，其特征在于，所述特征加权KNN算法具体包括如下步骤：

SB1：输入m个训练样本，并设定k值大小；

SB2：先随机选择训练集中的A[1]～A[k]样本作为待预测样本X的k个初始最邻近节点；

SB3：计算待预测样本X与每个初始k个最邻近节点的加权欧几里得距离wd(X,A[i]),i＝1,2,.....,k)，计算距离公式为：

$wd(X,A\[i\])=\sqrt{\underset{l=1}{\overset{n}{\Σ}}{w}_l{(X_l-A{\[i\]}_l)}^2},$

其中n表示样本A[i]属性个数，即A[i]＝(A[i]1，A[i]2，A[i]3，···A[i]n)；

SB4：将所述步骤SB3中求得到的距离wd(X,A[i])按升序排序，求得距离wd(X,A[i])的最远距离maxD＝max{d(X,A[i])|i＝1,2,.....,k}；

SB5：依次计算训练集中剩下记录与待测样本X的距离，并与所述步骤SB4中求得的最远距离maxD相比，若比最远距离maxD小，将最远距离maxD更新为该记录与待测样本X的距离值，再按升序对距离wd(X,A[i])排序；

SB6：计算出现在距离wd(X,A[i])序列中的每条记录的标签的出现次数，并按照出现次数的高低排序；

SB7：将所述步骤SB6中排序得到的前L个标签作为样本X的标签。