CN103077404A - 基于马尔科夫随机场的局部增量式可视化聚类方法 - Google Patents

Abstract

本发明公开了一种基于马尔可夫随机场的局部增量式可视化聚类方法，主要包括迭代和处理两个过程，其中：对完全未知的目标数据计算其相异度矩阵，将该矩阵作为迭代过程的输入，得到k阶邻域***和忠实度矩阵；将迭代过程的输出作为处理过程的输入，得到重排序图像和聚类置信度等信息。该方法根据马尔可夫随机场的性质，采用k阶邻域***计算全局概率测度；根据k阶邻域***，通过降维来降低计算复杂度；根据忠实度矩阵，选择最佳划分类别，并且进一步给出聚类结果的置信度。该方法为聚类提供先验信息，直观地了解数据结构和数据类别的分布情况；同时，还能一次即可给出聚类结果和聚类评估；并给出数据隐含复杂结构和聚类置信度。

Description

基于马尔科夫随机场的局部增量式可视化聚类方法

技术领域

本发明涉及模式识别、数据挖掘等技术领域，尤其是一种基于马尔科夫随机场的局部增量式可视化聚类方法。 

背景技术

传统的聚类方法如k均值聚类方法等需要以聚类数目作为参数输入，聚类结果的优劣严重依赖于聚类数目的先验估计。然而，在很多实际场合中，人们往往对数据一无所知，一般的办法是通过多次实验寻找较优的聚类数目作为参数输入。但当数据规模十分庞大或者实验成本较高的时候，以上后聚类(post-cluster)的方法便失去可行性。 

在当今大数据时代，提出没有参数依赖的、能够只需一次实验的聚类方法变得十分迫切和紧要。基于以上考虑，人们试图通过可视化的办法获得对数据的直观印象，或者进一步地，进行聚类估计和分析。 

事实上可视化聚类研究已经有相当长时期的历史。最近几年由于它的聚类效果明显，不需要事先估计参数等优势，从而得到了研究人员的广泛注意。大部分可视化聚类方法采用相似度矩阵作为输入，利用Prim算法及其扩展算法，通过重排序矩阵获得聚类结构图像，从图像中可以得到聚类数目的估计。然而，这些聚类算法通常从最近邻出发，忽略了更多的局部信息，从而对复杂结构的聚类无能为力。并且，这些聚类算法只给出了聚类数目，并没有实现聚类划分，也无法给出聚类划分结果的评定。 

基于上述考虑，本发明提出一种基于马尔科夫随机场的局部增量式可视化聚类方法，该方法不仅能够自动地实现聚类数目的判定，还能同时实现聚类的划分，最后进一步给出了聚类结构的大体描述。例如聚类紧凑性程度、聚类稳定性和鲁棒性等。 

发明内容

为了解决现有聚类技术存在的问题，本发明的目的是提供一种基于马尔科夫随机场的可视化聚类方法，其包括： 

步骤S1：输入样本数据，根据所输入的每个样本数据建立图模型，图的各个顶点为所述样本数据；根据欧氏距离计算出相异度矩阵，所述相异度矩阵中的元素为各个样本之间的相异度；将所述相异度矩阵归一化； 

步骤S2：初始化每个顶点所属的类别为其自身； 

步骤S3：对于每个顶点，计算该顶点的k阶邻域概率，并根据每个顶点的k阶邻域概率得出全局概率；最终获得使得全局概率最大的最终k阶邻域； 

步骤S4：根据所述最终k阶邻域，生成重排序RDI图像，并获得最终的聚类结果。 

基于马尔可夫随机场的可视化聚类分析对于自动聚类的发展具有很重要的意义：上述方法为聚类提供先验信息，可以直观地了解数据结构和数据类别的分布情况；同时，根据不同的目的，上述方法有多种用途：用于在线聚类，一次即可给出聚类结果和聚类评估；用于辅助聚类分析，可给出数据隐含复杂结构和聚类置信度。 

附图说明

图1是本发明中基于马尔科夫随机场的局部增量式可视化聚类方法的***框图； 

图2是本发明实施例中合成数据集上的实验结果图；； 

图3是本发明实施例中根据实际数据所产生的重排序RDI图像。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。 

本发明提供了一种基于马尔科夫随机场的局部增量式可视化聚类方法，如图1所示，主要有初始化、迭代过程和处理过程三大部分。 

本发明通过最大化类别的后验概率来得到样本数据集的聚类结果，这一步通过迭代过程完成，最后的聚类结果为忠实度矩阵，并给出了聚类的置信度。 

通过处理过程得到一幅反映样本数据集自身类别的图像RDI(Recorded Dissimilarity Image，如图2第二行和图3所示)，通过观察 该RDI中所呈现的结构特点，可以辅助实验者判断通过迭代过程得到的聚类结果是否合理。 

本发明提出的基于马尔科夫随机场的局部增量式可视化聚类方法，可以用于生物特征识别等领域，如通过对所提取的生物特征进行聚类，最终识别出这些生物特征之间的共性。所述生物特征包括虹膜特征、人脸图像特征、基因数据等。 

下面对本发明的方法涉及的关键步骤进行逐一详细说明，具体步骤如下所述： 

步骤S1，对于给定的样本数据集，根据欧氏距离计算出相异度矩阵，并将矩阵归一化。其中所述样本数据集为人脸图像样本集、虹膜样本集等。 

给定样本数据集X＝{x₁，x₂，...，x_i，...，x_n}，其中x_i表示一个m维的样本。引入图模型{G，S}，其中，G＝{g_i，i＝1，...，n}是顶点集合，S＝{s_ij，i，j＝1，...，n}是边集合。样本x_i对应于图模型中的顶点g_i，边s_ij代表样本x_i与样本x_j之间的相异度(dissimilarity)，计算公式为： 

$s_{\mathrm{ij}}=\frac{d(x_i,x_j)}{\underset{i,j}{\max }d(x_i,x_j)}---\left(1\right)$

其中d(x_i，x_j)表示x_i与x_j之间的欧氏距离，分母为归一化因子，可知0≤s_ij≤1。相异度矩阵中的元素便是s_ij。 

步骤S2，初始化上述图模型{G，S}中的每个顶点，将其各自作为一个独立的类，即顶点所属的类别为顶点自身；置忠实度矩阵B为单位阵，表示每个顶点以1为概率属于当前类别；置k＝2，从2阶邻域开始；置最大迭代次数为maxI＝log(N)，N为样本数目。 

本发明通过最大化类别的后验概率来得到样本数据集的聚类结果，易知在整个样本数据集上最大化此后验概率和在邻域***中最大化此后验概率等价，由马尔可夫随机场的Hammersley-Clifford定理可知，在邻域***上的操作和在最大簇上的操作等价，因此可以在最大簇上最大化类别的后验概率，但最大簇的获取也非常困难，因此本发明提出来用k近邻结构近似代替。 

下面给出相关的概念定义： 

图模型{G，S}中的邻域***： 

称 

为g_i的邻 域，如果： 

1) $\∀g_i\∈G,$ $g_i\∉E_{g_i};$

2) $\∀g_i,g_j\∈G,$ $g_i\∈E_{g_j}\⇔g_j\∈E_{g_i}.$

如果g_i，g_j同属于某个邻域，则称g_i，g_j∈G互为邻居。 

图模型中的簇与最大簇：令C是邻域***E的子集，称C是G中的簇，如果下列条件之一被满足： 

1)|C|＝1，即C只包含由一个顶点构成的集合； 

2)|C|＞1，且C中任意两个顶点互为邻居。 

其中|C|表示C中所有顶点的数目。如果该簇包含了可能的最大数目的邻居，则称一个簇为最大簇。 

聚类的目标函数：定义图模型中的概率测度和马尔科夫随机场。 

ω＝{ω_i，i＝1，...，n}，ω_i可以理解成不同类别的聚类中心，其维度和样本x_i相同，为一m维向量。定义聚类过程的目标函数为P(ω|G)＝P(ω_i，i＝1，...，n|g_i，i＝1，...，n)，表示g_i属于ω_i的全局概率。易知 

从而本发明方法中的马尔科夫随机场便是上述定义的邻域*** 与概率测度的结合，目标为最大化P(ω|G)，即最大化全局后验概率。 

根据马尔科夫随机场理论的Hammersley-Clifford定理，最大化最大簇上的概率与最大化全局概率等价，从而把全局难解问题转化为局部可解问题。即使如此，在目前的条件下找出图模型中的最大簇也是一项非常复杂的操作，因此，本发明提出了一种可以近似替代最大簇的k阶邻域，定义如下： 

令 

称Γ^k是G上的k阶邻域***， 

k∈N，记x_i所属的类别为 

则有下式成立： 

$P\left({\mathrm{\ω}}_{x_i}\right|G)=P\left({\mathrm{\ω}}_{x_i}\right|E_{x_i})=P\left({\mathrm{\ω}}_{x_i}\right|G_{x_i})=P\left({\mathrm{\ω}}_{x_i}\right|{\mathrm{\Γ}}_{x_i}^k)$

其中 

是顶点x_i所属的类别， 是x_i在G中的邻域， 

是G中包含x_i的最大簇。 

上式充分反映了本发明关于聚类过程的思路，这个***和最大簇***的区别在于前者仅需在最大簇中考虑最近的k个邻居，更远的邻居被认为在重排序所占的权重很小，可以忽略不计。 

结合上面过程，得到本发明中所计算的全局概率的公式表示如下： 

$P\left(\mathrm{\ω}\right|G)\∝\underset{x_{i}i}{\mathrm{\Π}}P\left({\mathrm{\ω}}_{{\mathrm{\Γ}}_{x_i}^k}\right|{\mathrm{\Γ}}_{x_i}^k)---\left(0\right)$

其中 

ω_i是顶点x_i所属的类别， 

为顶点x_i的k阶邻域， 为k阶邻域概率。 

即本发明中使用所述的k邻域***计算出全局概率，取k＝arg max_k P(ω|G)。具体的求解过程是一种局部增量式的迭代更新策略，通过不断调整k的值，来求解目标函数，具体迭代过程如下面步骤所示。 

步骤S3，迭代过程。这一步是聚类过程，具体为： 

步骤S31：对每个顶点建立各自的k阶邻域***，按顶点顺序计算，已在某个邻域内的顶点不再计算其k阶邻域； 

步骤S32：对每个顶点计算其对各自所属类别的忠实度； 

利用k阶邻域***来计算忠实度矩阵B，其中忠实度矩阵B如下定义：其中的元素b_ij表示第i个顶点对于第j个类别的忠实程度，b_ij≥0且 

邻居的忠实度会对自身的忠实度产生很大的影响，基于这个思想，可以由以下公式计算忠实度： 

$b_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{\Γ}}_{x_i}^k}\frac{b_{\mathrm{lj}}}{s_{\mathrm{il}}}}{{\mathrm{\Σ}}_{\∀j}{\mathrm{\Σ}}_{l\∈{\mathrm{\Γ}}_{x_i}^k}\frac{b_{\mathrm{lj}}}{s_{\mathrm{il}}}}---\left(0\right)$

其中，s_il是邻居l与j的相异度。 

步骤S33：取j＝arg max_i b_ij作为顶点i的类别，计算每个顶点的k阶邻域概率，然后计算新的全局概率；其中所述b_ij为所述顶点i属于类别j的忠实度； 

步骤S34：迭代如果达到最大迭代次数，则停止迭代，否则置k＝2k； 

步骤S35：如果全局概率不再增加，则停止迭代，否则，用新的全局概率取代之前的全局概率，重新开始迭代过程。 

。邻居的忠实度会对自身的忠实度产生很大的影响，基于这个思想，可以由以下公式计算忠实度是邻居与的相异度。 

步骤4，处理过程。这一步主要是用于生成RDI图像和聚类结果，RDI用于辅助评估聚类结果，具体步骤为： 

步骤S41：以k近邻为单位重写相异度矩阵并归一化，即两k近邻之间的欧式距离是其包含的顶点之间的最大距离，也即 max{d(x_i，x_j)，x_i，x_j分别属于两个k近邻}，因此以k近邻为单位，得到重写后的相异度矩阵，所述重写后的相异度矩阵中的元素为两k近邻之间的相异度，这实际上就是一种降维；然后利用VAT算法进行矩阵的重排序，也即找到一种排列使得在同一个类别中的顶点在矩阵表示中相近； 

从迭代过程得到了最优的k值，则以k近邻为单个元素写出新的相异度矩阵并归一化，易知此时新的相异度矩阵维度比旧的相异度矩阵维度要降低，因此这也是一种降维方式。而利用VAT算法将矩阵中代表相似结构的元素排列到一起，方便可视化分析。 

步骤S42：进行基于路径的变换，消除路径传递所产生的噪声；将降维和重排序后的相异度矩阵进行升维，即以每个顶点为单位重新计算相异度矩阵，若两顶点原属于同一个k近邻，则其距离为该k近邻内顶点之间距离的最小值，若不然，则所述两个k阶邻域中包含的顶点之间的最大欧式距离，以此重写相异度矩阵； 

进行基于路径的变换主要是由于元素与元素之间可能存在多种路径，每种路径的长度都有可能不一样，路径的长度一定程度上反映了元素间的 相似性，因此，为排除因多种路径对元素相似性的干扰，才采用基于路径的变换来消除这种干扰。具体的变换采用下式 

$D_{\mathrm{ij}}^{,}=\underset{p\∈P_{\mathrm{ij}}}{\min }\underset{1\≤h\≤\left|p\right|}{\max }{D}_{p\left[h\right]p[h+1]}---\left(0\right)$

其中D代表G根据步骤四降维以后的全连通图的边的权值的集合，所述全连通图为步骤41中进行降维以后得到的各个k阶邻域为顶点的图，其边的权值为两个k阶邻域中包含的各个点之间的最大距离，P_ij代表顶点i和顶点j之间的非循环的路径集合，p是其中的一条路径，p[h]表示这条路径上第h个顶点，

表示在路径p中具有最大权重的边的值，该公式表示在顶点i和顶点j之间的路径中，先在每条路径中选出权值最大的边，然后再在这些边中选出权值最小的边，这条边对应的权值就是D′_ij。假如顶点i和顶点j之间没有直接相连，但却有多条路径，路径变换相当于给二者一个虚拟的边并赋予其如公式6所示的权重，这样可以避免将二者分到不同的类别中。 

步骤S43：利用升维后的矩阵，得到重排序图像RDI； 

步骤S44：选取j＝arg max_j b_ij作为样本x_i的类别，并给出忠实度b_ij， 其中j的种类数即为样本数据聚类后的类别数目。 

根据步骤四降维以后的表示在路径中具有最大权重的边的值，。从得到的RDI图可以直观地看出样本数据集的类别数目(如图2第二行和图3所示)，进一步地，可以用于评估聚类结果。 

实施例 

本发明提出了一种有效的基于马尔科夫随机场的局部增量式可视化聚类方法，它具有易于实现和性能稳定等特点。本发明能够用于辅助聚类过程，消除聚类对外源参数的依赖性(如k均值中参数k的确定)，是进一步实现自动聚类划分的关键技术。 

本发明主要包含初始化、迭代过程和处理过程三大步骤，为了详细说明本发明方法的具体实施过程，下面以一组合成数据为例说明。这个***可以有效解决聚类数目的估计问题和提高聚类精度。 

合成数据中包含S1-S5五个样本数据集，各样本数分别为{299，266，622，512，238}，各样本数据集的类别数分别为{3，3，4，4，3}(如图2第一行所示)。下面以S1样本数据集为例进行具体步骤操作说明，其它样 本数据集的操作与此相似。 

首先利用欧式距离计算出S1的相异度矩阵，得到299×299的对称矩阵，对其进行归一化处理。 

然后设置初始忠实度矩阵B₀＝I_299×299，最大迭代次数maxI＝6，初始迭代次数k＝2。将以上信息输入送入本发明的迭代过程，得到6阶邻域***以及忠实度矩阵B。以6阶邻域***为单位元进行矩阵降维，得到50×50的降维矩阵D。利用VAT算法对降维后矩阵重排序，得到重排序后降维矩阵D′。对D′利用路径变换技术消除路径传递的噪声污染，得到处理后矩阵D″。再将处理过的降维矩阵D″升维，得到重排序图像I(D″)(如图2所示)，并且利用忠实度矩阵B，得到最佳数据划分方案。 

图2给出了上述合成数据集上获得的图像，其中第一行为合成数据的图像，第二行为本发明方法的结果。在每个图像中，沿对角线的黑色方块代表不同的类别，方块大小代表类别大小，和背景色的对比度反映了类别的紧致性。 

图3所示是在一组实际数据集上的实验效果。实际数据包含R1-R5五 个数据集(如图3所示)，其中R1是人脸图像数据，样本数为1755，包含4类；R2是基因数据，样本数为194，包含3类；R3是虹膜数据，样本数为150，包含3类；R4是投票数据，样本数为435，包含2类；R5是酒成分数据，样本数为178，包含3类。可见，由所述图像识别聚类数目为{4，3，3，2，3}，与真实聚类数目一致。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种基于马尔科夫随机场的局部增量式可视化聚类方法，其包括：

步骤S1：输入样本数据，根据所输入的每个样本数据建立图模型，图的各个顶点为所述样本数据；根据欧氏距离计算出相异度矩阵，所述相异度矩阵中的元素为各个样本之间的相异度；将所述相异度矩阵归一化；

步骤S2：初始化每个顶点所属的类别为其自身；

步骤S3：对于每个顶点，迭代计算该顶点的k阶邻域概率，并根据每个顶点的k阶邻域概率得出全局概率；最终获得使得全局概率最大的最终k阶邻域；

步骤S4：根据所述最终k阶邻域，生成重排序RDI图像，并获得最终的聚类结果。

2.如权利要求1所述的方法，其特征在于：步骤S1中相异度矩阵中的元素s_ij如下计算：

$s_{\mathrm{ij}}=\frac{d(x_i,x_j)}{\underset{i,j}{\max }d(x_i,x_j)}$

其中，d(x_i，x_j)表示样本x_i与x_j之间的欧氏距离。

3.如权利要求1所述的方法，其特征在于：所述步骤3中迭代过程具体为：

步骤S31：对每个顶点建立各自的k阶邻域；

步骤S32：计算忠实度矩阵，其中所述忠实度矩阵中的元素表示各个顶点对各个类别的忠实程度；

步骤S33：取j＝arg max_i b_ij作为顶点x_i的类别，计算每个顶点的k阶邻域的概率，然后计算新的全局概率；其中所述b_ij为所述顶点x_i属于类别j的忠实度；

步骤S34：如果达到最大迭代次数，则停止迭代；否则置k＝2k；

步骤S35：如果所计算的新的全局概率不再增加，则停止迭代；否则，用新的全局概率代替上一次迭代产生的全局概率，并返回步骤S31。

4.如权利要求1所述的方法，其特征在于：所述步骤4具体包括：

步骤S41：以k阶邻域为单位对相异度矩阵进行降维，利用VAT算法对降维后的所述相异度矩阵进行重排序；其中所述k阶邻域为使得全局概率最大的k阶邻域；

步骤S42：进行基于路径的变换，消除路径传递所产生的噪声；

步骤S43：对所述重排序后的相异度矩阵进行升维，，最终得到重排序RDI图像；

步骤S44：选取j＝arg max_i b_ij作为顶点x_i的最终分类类别，并给出忠实度b_ij，其中j的种类数即为样本数据聚类后的类别数目。

5.如权利要求4所述的方法，其特征在于：所述步骤41对相异度矩阵进行降维具体为以所述k阶邻域为单位，得到各个k阶邻域之间的相异度矩阵，其中两个k阶邻域之间的欧式距离为所述两个k阶邻域中包含的顶点之间的最大欧式距离。

6.如权利要求5所述的方法，其特征在于：所述步骤43中对所述重排序后的相异度矩阵进行升维具体为：以每个顶点为单位，得到各个顶点之间的相异度矩阵，其中，若两顶点原属于同一个k阶邻域，则它们之间的欧式距离为该k阶邻域内顶点之间的最小欧式距离，否则它们之间的欧式距离为所述两个顶点所属的两个k阶邻域中包含的顶点之间的最大欧式距离。

7.如权利要求3所述的方法，其特征在于，所述忠实度如下计算：

$b_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{I\∈{\mathrm{\Γ}}_{x_i}^k}\frac{b_{\mathrm{lj}}}{s_{\mathrm{il}}}}{{\mathrm{\Σ}}_{\∀j}{\mathrm{\Σ}}_{l\∈{\mathrm{\Γ}}_{x_i}^k}\frac{b_{\mathrm{lj}}}{s_{\mathrm{il}}}}$

其中，s_il是顶点l与j的相异度，b_lj表示顶点l属于类别j的忠实度，其中i和l属于同一k阶邻域。

8.如权利要求1所述的方法，其特征在于：所述全局概率如下获得：

$P\left(\mathrm{\ω}\right|G)\∝\underset{x_i}{\mathrm{\Π}}P\left({\mathrm{\ω}}_{{\mathrm{\Γ}}_{x_i}^k}\right|{\mathrm{\Γ}}_{x_i}^k)$

其中，

ω_i是顶点x_i所属的类别，

是图模型G上的k阶邻域，P(ω|G)是全局概率，

表示k阶邻域

中的顶点属于类别

的k阶邻域概率。

9.如权利要求1所述的方法，其特征在于：利用所述RDI图像辅助判断聚类结果。

10.如权利要求1所述的方法，其特征在于：该方法中以提取的生物特征为样本数据，对所述生物特征进行聚类以找出生物特征之间的共性。

Images