CN106156841A - 一种基于最大‑最小信息素的k‑means数据处理方法 - Google Patents

Abstract

本发明公开了一种基于最大‑最小信息素的k‑means数据处理方法，包括以下步骤：S1、获取待处理的原始数据集，在原始数据集中标记随机分配的聚类中心；S2、根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；S3、更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；S4、若满足结束条件或达到最大迭代次数，输出最优聚类结果；否则转入步骤S2继续执行。本发明的算法在聚类总偏离误差上优于现有算法，在时间消耗上少于现有算法。

Description

一种基于最大-最小信息素的k-means数据处理方法

技术领域

本发明涉及数据挖掘及模式识别技术领域，尤其涉及一种基于最大-最小信息素的k-means数据处理方法。

背景技术

k-means算法是基于划分的经典聚类算法，最早由MacQueen提出，其优点是简单、易懂，算法思路清晰，数据收敛快速。处理密集型数据时，具有相对可伸缩性和高效性，聚类效果好。但是它的缺点也很明显，算法对初始中心点的选择和k值的确定以及孤立点比较敏感，并且容易陷入局部最优解。蚁群聚类算法是一种全局搜索仿生优化算法，最早由Deneubourg提出,根据聚类中心的信息素量把周围数据聚集到一起，从而实现聚类。其优点是不需要提前划分原始数据样本，采用随机搜索，算法灵活，可以避免局部最优。但仍存在一些缺点，算法收敛性差，运行时间较长。Sara Saatchi等人结合蚁群算法和k-means算法，提出一种基于信息素的k-means聚类算法，通过蚁群的全局搜索降低k-means算法陷入局部最优的可能性。但该算法采取传统蚁群算法的信息素更新策略，收敛速度相对较慢。针对上述缺点，研究人员引入了精英适值保留机制提高了蚁群聚类算法的聚类效果；引入变异算子消除孤立点样本的影响；并且通过MMAS(最大最小蚂蚁***)更改路径信息素量，大大提高了全局搜索能力，有效地避免了过早收敛。

但是在数据集比较大，维数比较高的时候，算法的时间消耗很大。基于信息素的k-means聚类算法进行几次全局更新后，某些路径(i,j)信息素τ_ij可能快速趋于0，降低了蚂蚁的搜索能力。

发明内容

本发明要解决的技术问题在于针对现有技术中运算时间消耗大，且容易陷入局部最优解的缺陷，提供一种改善了收敛速度和总偏离误差的基于最大-最小信息素的k-means数据处理方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于最大-最小信息素的k-means数据处理方法，包括以下步骤:

S1、获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

S2、根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

S3、设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

S4、若满足结束条件或达到最大迭代次数，输出最优聚类结果；否则转入步骤S2继续执行。

进一步地，本发明的步骤S3中设置最大和最小信息素的方法具体为：

最大信息素τ_max为：

${\mathrm{\τ}}_{max}=\frac{1}{1-\mathrm{\ρ}}\·\frac{1}{l^k}$

最小信息素τ_min为：

${\mathrm{\τ}}_{\min }=\frac{{\mathrm{\τ}}_{\max }(1-\sqrt[n]{P_{best}})}{(avg-1)\sqrt[n]{P_{best}}}$

其中，ρ为信息素挥发系数，k为聚类数目，l为蚂蚁k获取的路径长度，n为蚂蚁的数量，P_best为发现最优解的概率，avg为可选路径数。

检验各路径信息素，若大于τ_max，则令其等于τ_max；若小于最小值τ_min，则令其等于τ_min。

进一步地，本发明的步骤S2中计算蚂蚁转移概率的方法具体为：

蚂蚁经过路径(i,j)释放信息素，求出未经标识数据对象X_i到的欧式距离d_ij并计算蚂蚁转移概率P_ij，其中：

t时刻，蚂蚁经过路径(i,j)释放信息素的量τ_ij(t)为：

${\mathrm{\τ}}_{ij}\left(t\right)=\left\{\begin{array}{cc}1& d_{ij}\≤R\\ 0& d_{ij}>R\end{array}\right.$

蚂蚁转移概率P_ij为：

$P_{ij}=\frac{{\mathrm{\τ}}_{ij}}{\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\τ}}_{ij}}$

其中，R为聚类半径初始值，d_ij为X_i到的欧式距离，待处理的原始数据集X＝{XX_i＝(x_i1,x_i2,...,x_in),i＝1,2,...,n}，随机聚类中心

进一步地，本发明的步骤S2中进行重新聚类的方法具体为：P_ij与给定的转移概率阈值q进行比较，若大于q,则标识X_i分配到处。

进一步地，本发明的步骤S2中选取精英蚂蚁最优解的具体方法为：

根据聚类结果求出每一类聚类中心，计算原始数据集X_i到其对应聚类中心总的偏离误差F，采取精英保留机制根据F值升序排序，选取最优解作为精英蚂蚁的解，其中：

总的偏离误差F为：

$F=\underset{j=1}{\overset{k}{\Σ}}\underset{i=1}{\overset{m}{\Σ}}dist(X_i,{\stackrel{\‾}{C}}_i)$

dist为欧式距离：

${\mathrm{dist}}_{ij}={\left(\underset{k=1}{\overset{p}{\Σ}}{\left(x_{ik}-x_{jk}\right)}^2\right)}^{\frac{1}{2}}$

其中，p为数据的属性个数，m为蚁群规模。

进一步地，本发明的步骤S2中还包括根据偏离误差进行重新聚类的方法，具体为：根据设置的局部搜索阈值pls的大小对最优解的数据对象进行重新聚类，计算新聚类结果下总的偏离误差F_t,若F_t小于F则保存，否则舍弃。

进一步地，本发明的步骤S2中精英蚂蚁最优解对应的路径为当前迭代的最优蚂蚁路径，或全局最优蚂蚁路径。

进一步地，本发明的步骤S3中更新全局信息素的方法具体为：

路径(i,j)信息素残留量为：

τ_ij(t+n)＝(1-ρ)τ_ij(t)+Δτ^best _ij(t)

若蚂蚁经过路径(i,j)，则否则

其中，l_best为蚂蚁遍历一周最佳路径长度，Q为一常量。

本发明提供一种基于最大-最小信息素的k-means数据处理***，包括：

数据获取单元，用于获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

最优解计算单元，用于根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

信息素更新单元，用于设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

聚类结果输出单元，用于判断是否满足结束条件或达到最大迭代次数，若满足，则输出最优聚类结果；否则转入最优解计算单元继续执行。

本发明产生的有益效果是：本发明的基于最大-最小信息素的k-means数据处理方法，通过在基于信息素的k-means聚类算法中引入最大和最小信息素，在更新信息素时对各个路径的信息素进行限定，能够有效的避免信息素快速趋于0的情况发生，提高了全局的搜索能力，有效的避免了过早收敛；并且算法在聚类总偏离误差上要优于现有算法，在时间消耗上也要少于现有算法。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的基于最大-最小信息素的k-means数据处理方法的流程图；

图2是本发明实施例的基于最大-最小信息素的k-means数据处理方法的具体实施例的流程图；

图3是本发明实施例的基于最大-最小信息素的k-means数据处理***的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于最大-最小信息素的k-means数据处理方法，包括以下步骤:

S1、获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

S2、根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

S3、设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

步骤S3中设置最大和最小信息素的方法具体为：

最大信息素τ_max为：

${\mathrm{\τ}}_{max}=\frac{1}{1-\mathrm{\ρ}}\·\frac{1}{l^k}$

最小信息素τ_min为：

${\mathrm{\τ}}_{\min }=\frac{{\mathrm{\τ}}_{\max }(1-\sqrt[n]{P_{best}})}{(avg-1)\sqrt[n]{P_{best}}}$

其中，ρ为信息素挥发系数，k为聚类数目；

检验各路径信息素，若大于τ_max，则令其等于τ_max；若小于最小值τ_min，则令其等于τ_min；

S4、若满足结束条件或达到最大迭代次数，输出最优聚类结果；否则转入步骤S2继续执行。

如图2所示，在本发明的另一个具体实施例中，算法的具体步骤为：

(1)初始化蚁群参数，给定待处理的原始数据集X,为其随机分配的聚类中心。

初始化信息素矩阵，聚类数目k，聚类半径R,蚁群规模m，信息强度Q，信息素挥发系数ρ,转移概率阈值q，局部搜索阈值pls和最大迭代次数t_max。待处理的原始数据集X＝{XX_i＝(x_i1,x_i2,...,x_in),i＝1,2,...,n}，随机聚类中心

(2)蚂蚁经过路径(i,j)释放信息素，求出未经标识数据对象X_i到的欧式距离d_ij并计算蚂蚁转移概率P_ij。

t时刻，蚂蚁经过路径(i,j)释放信息素的量τ_ij(t)为：

${\mathrm{\τ}}_{ij}\left(t\right)=\left\{\begin{array}{cc}1& d_{ij}\≤R\\ 0& d_{ij}>R\end{array}\right.$

其中，R为聚类半径初始值，d_ij为X_i到的欧式距离。

数据转移概率P_ij为：

$P_{ij}=\frac{{\mathrm{\τ}}_{ij}}{\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\τ}}_{ij}}$

(3)P_ij与给定的q进行比较，若大于q,则标识X_i分配到处,否则，转到步骤(2)。

(4)根据聚类结果求出每一类聚类中心，计算X_i到其对应总的偏离误差F，采取精英保留机制根据F值升序排序，选取最优解作为精英蚂蚁的解。

总的偏离误差F为：

$F=\underset{j=1}{\overset{k}{\Σ}}\underset{i=1}{\overset{m}{\Σ}}dist(X_i,{\stackrel{\‾}{C}}_i)$

dist为欧式距离，如下所示：

${\mathrm{dist}}_{ij}={\left(\underset{k=1}{\overset{p}{\Σ}}{\left(x_{ik}-x_{jk}\right)}^2\right)}^{\frac{1}{2}}$

式中，p为数据的属性个数。

(5)根据pls的大小对最优解的数据对象进行重新聚类，计算新聚类结果下总的偏离误差F_t,若F_t小于F则保存，否则舍弃。

(6)利用精英蚂蚁的最优解更新全局信息素。

基于MMAS算法，利用最优路径进行全局信息素的更新。路径(i,j)信息素残留量：

τ_ij(t+n)＝(1-ρ)τ_ij(t)+Δτ^best _ij(t)

若蚂蚁经过路径(i,j)，则否则

其中，l_best为蚂蚁遍历一周最佳路径长度，Q为一常量。

(7)根据MMAS(最大-最小蚂蚁***)，将各条路径信息素量限制为[τ_min,τ_max]。

最大信息素τ_max为：

${\mathrm{\τ}}_{\max }=\frac{1}{1-\mathrm{\ρ}}\·\frac{1}{l^k}$

最小信息素τ_min为：

${\mathrm{\τ}}_{\min }=\frac{{\mathrm{\τ}}_{\max }(1-\sqrt[n]{P_{best}})}{(avg-1)\sqrt[n]{P_{best}}}$

其中，蚂蚁路径可以是当前迭代的最优蚂蚁路径，也可以是全局最优蚂蚁路径。信息素更新完成后，检验各路径信息素。若大于τ_max，则令其等于τ_max；若小于最小值τ_min，则令其等于τ_min。

(8)满足结束条件或迭代次数，输出最优解，否则转到步骤(2)继续运行。

为了验证算法效果，利用UCI数据库中的iris数据集和seed数据集进行实验，iris数据集包括3种不同种类的植物，共有150条数据，每条数据有4种属性；seed数据集包括3种小麦品种籽粒，共有210条数据，每种小麦品种籽粒70粒，每一粒小麦品种有7种属性。实验运行环境为MATLAB2015b,实验参数ρ＝0.99，Q＝100，q＝0.98，迭代次数Nc＝100，蚂蚁数量n＝50，记录50次数据值(最优、平均值、最差值)。通过实验比较传统的k-means聚类算法(K)和基于信息素的k-means聚类算法(PK)以及基于最大-最小信息素的k-means聚类算法(CPK)的聚类总偏离误差和时间消耗。

如下表所示，对比三种算法在两种不同的数据集上运行的结果得出，本算法的聚类总偏离误差和基于信息素的k-means算法聚类总偏离误差近似相同，且都低于传统的k-means算法偏离误差。表明所提出的基于最大-最小信息素的k-means聚类算法的聚类效果优于前两种算法。

对比基于信息素的k-means聚类算法和所提出的基于最大-最小信息素的k-means聚类算法的时间消耗，在MATLAB平台中进行50次实验，分别求取运行时间平均值，可得到下表。

可以看出对于不同的数据集，所提出的基于最大-最小信息素的k-means聚类算法的时间消耗都要低于基于信息素的k-means聚类算法，表明此发明所提出的算法在时间消耗上要优于基于信息素的k-means聚类算法。

本发明所要解决的技术问题是：数据集比较大，维数比较高的时候，算法的时间消耗很大。基于信息素的k-means聚类算法进行几次全局更新后，某些路径(i,j)信息素τ_ij可能快速趋于0，降低了蚂蚁的搜索能力。针对上述问题，提出一种基于最大-最小信息素的k-means聚类算法。所提出的基于最大-最小信息素的k-means聚类算法在聚类总偏离误差F要优于传统的k-means聚类算法。且在聚类总偏离误差F和时间消耗上要优于基于信息素的k-means聚类算法。所采用的信息素更改方法避免了算法运行时因信息素量差异过大而失去对搜索空间的进一步探索。

如图3所示，本发明实施例的基于最大-最小信息素的k-means数据处理***，用于实现本发明实施例的基于最大-最小信息素的k-means数据处理方法，包括：

数据获取单元，用于获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

最优解计算单元，用于根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

信息素更新单元，用于设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

聚类结果输出单元，用于判断是否满足结束条件或达到最大迭代次数，若满足，则输出最优聚类结果；否则转入最优解计算单元继续执行。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于最大-最小信息素的k-means数据处理方法，其特征在于，包括以下步骤:

S1、获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

S2、根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

S3、设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

S4、若满足结束条件或达到最大迭代次数，输出最优聚类结果；否则转入步骤S2继续执行。

2.根据权利要求1所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S3中设置最大和最小信息素的方法具体为：

最大信息素τ_max为：

${\mathrm{\τ}}_{max}=\frac{1}{1-\mathrm{\ρ}}\·\frac{1}{l^k}$

最小信息素τ_min为：

${\mathrm{\τ}}_{\min }=\frac{{\mathrm{\τ}}_{\max }(1-\sqrt[n]{P_{best}})}{(avg-1)\sqrt[n]{P_{best}}}$

其中，ρ为信息素挥发系数，k为聚类数目，l为蚂蚁k获取的路径长度，n为蚂蚁的数量，P_best为发现最优解的概率，avg为可选路径数；

检验各路径信息素，若大于τ_max，则令其等于τ_max；若小于最小值τ_min，则令其等于τ_min。

3.根据权利要求1所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S2中计算蚂蚁转移概率的方法具体为：

蚂蚁经过路径(i,j)释放信息素，求出未经标识数据对象X_i到的欧式距离d_ij并计算蚂蚁转移概率P_ij，其中：

t时刻，蚂蚁经过路径(i,j)释放信息素的量τ_ij(t)为：

${\mathrm{\τ}}_{ij}\left(t\right)=\left\{\begin{array}{cc}1& d_{ij}\≤R\\ 0& d_{ij}>R\end{array}\right.$

蚂蚁转移概率P_ij为：

$P_{ij}=\frac{{\mathrm{\τ}}_{ij}}{\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\τ}}_{ij}}$

其中，R为聚类半径初始值，d_ij为X_i到的欧式距离，待处理的原始数据集X＝{X|X_i＝(x_i1,x_i2,...,x_in),i＝1,2,...,n}，随机聚类中心

4.根据权利要求3所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S2中进行重新聚类的方法具体为：P_ij与给定的转移概率阈值q进行比较，若大于q,则标识X_i分配到处。

5.根据权利要求1所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S2中选取精英蚂蚁最优解的具体方法为：

根据聚类结果求出每一类聚类中心，计算原始数据集X_i到其对应聚类中心总的偏离误差F，采取精英保留机制根据F值升序排序，选取最优解作为精英蚂蚁的解，其中：

总的偏离误差F为：

$F=\underset{j=1}{\overset{k}{\Σ}}\underset{i=1}{\overset{m}{\Σ}}dist(X_i,{\stackrel{\‾}{C}}_i)$

dist为欧式距离：

${\mathrm{dist}}_{ij}={\left(\underset{k=1}{\overset{p}{\Σ}}{\left(x_{ik}-x_{jk}\right)}^2\right)}^{\frac{1}{2}}$

其中，p为数据的属性个数，m为蚁群规模。

6.根据权利要求5所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S2中还包括根据偏离误差进行重新聚类的方法，具体为：根据设置的局部搜索阈值pls的大小对最优解的数据对象进行重新聚类，计算新聚类结果下总的偏离误差F_t，若F_t小于F则保存，否则舍弃。

7.根据权利要求1所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S2中精英蚂蚁最优解对应的路径为当前迭代的最优蚂蚁路径，或全局最优蚂蚁路径。

8.根据权利要求3所述的基于最大-最小信息素的k-means数据处理方法，其特征在于，步骤S3中更新全局信息素的方法具体为：

路径(i,j)信息素残留量为：

τ_ij(t+n)＝(1-ρ)τ_ij(t)+Δτ^best _ij(t)

若蚂蚁经过路径(i,j)，则否则

其中，l_best为蚂蚁遍历一周最佳路径长度，Q为一常量。

9.一种基于最大-最小信息素的k-means数据处理***，其特征在于，包括：

数据获取单元，用于获取待处理的原始数据集，初始化蚁群参数，在原始数据集中标记随机分配的聚类中心；

最优解计算单元，用于根据蚁群信息素计算原始数据集中未标记的数据到聚类中心的蚂蚁转移概率，根据计算结果对所有未标记的数据进行重新聚类，并计算各个数据到新的聚类中心的偏离误差，选取偏离误差最小的解作为精英蚂蚁最优解；

信息素更新单元，用于设置最大信息素和最小信息素，根据精英蚂蚁最优解更新全局的信息素，将信息素的大小限制在最大信息素和最小信息素的范围内，并根据更新后的信息素进行聚类；

聚类结果输出单元，用于判断是否满足结束条件或达到最大迭代次数，若满足，则输出最优聚类结果；否则转入最优解计算单元继续执行。