CN102857525A - 基于随机游走策略的社区发现方法 - Google Patents

Abstract

本发明公开了一种基于随机游走策略的社区发现方法，其主要包括网络初始化、随机游走和社区倾向性分析三部分内容。本发明的特征在于其解决了现有社区发现方法的以下问题：1)只能得到网络在某个单一层次下的社区结构，而不能完整地给出网络在多个层次下的社区划分状况；2)划分具有重叠社区结构的网络时显得力不从心，并且所获得社区的质量也不是很高；3)没有对重叠社区中具有多重身份的节点进行定量地分析。总之，本发明不仅可以发现网络中的重叠社区，而且也能发现网络在不同层次下的社区结构。并且在该方法中，引入的社区倾向性的概念，使重叠社区的定量分析成为了可能。

Description

基于随机游走策略的社区发现方法

技术领域

本发明涉及复杂网络领域，尤其涉及一种复杂网络中社区结构的发现技术及其实现方法。

背景技术

社区发现技术是复杂网络中的一个基础研究。关于网络社区结构的研究，总体来说，从模块层次上，网络社区结构常常是高度非平凡的，这使得我们总是难以找到一个比较好的方法来对网络进行社区划分。主要有以下两方面的原因。

第一，由于网络中的社区是嵌套的：一些较小的社区组成一个稍大的社区，而这些稍大的社区继续组成一个更大的社区，最终使整个网络呈现一个大社区，如学校的组织结构。由于网络中每一层的社区模块都能体现***的特殊功能，所以组织结构中的层次形式是非常有效的，这也要求我们寻找出一种方法来发现所有层次下的网络社区结构，而不仅仅局限于某一单个层次下的网络社区结构。传统的层次聚类方法尽管可以比较容易地产生划分的层次，但是分区的质量却并不是很清楚。尽管Newman and Girvan提出的模块化度就是衡量划分质量的一种工具，但是它仅仅只能判断某个单独层次下的社区划分质量。直到近几年，才慢慢地有学者开始关注多个层次下有意义的社区划分的问题。

第二个问题就是一些节点常常隶属于多个社区，从而形成重叠社区。例如，人们根据家庭、朋友、职业还有爱好等，可以是多个不同的社会群体中的一员。使用传统方法来划分这种节点属于多个社区时的网络时，往往会显得力不从心，同时也会降低所获得社区的质量。并且，这也隐藏了一些重要的信息，经常导致划分不正确。

此外，现有的社区发现方法常常是只能分析具有一种特性的网络。当网络中同时具有这两种特性时，我们往往就很难给出满意的结果。

基于上述这些问题，我们提出了基于随机游走策略的社区发现方法，该方法不仅可以发现网络中的重叠社区，而且也能发现网络中的多层次结构。并且我们还引入了社区倾向性的概念，使我们可以对重叠社区进行定量地分析。

发明内容

有鉴于此，本发明的主要目的在于提供一种新的社区发现技术——基于随机游走策略的社区发现方法，其不仅可以发现网络中的重叠社区，而且也能发现网络中的多层次结构。并且还可以对重叠社区进行定量地分析。

在这里，我们引入了agent集合，集合里的每个元素个体即每个agent都代表相应网络中的一个节点，并且可以在一个二维空间中移动。在发现过程中，每个agent会在它的所有邻接点中，以一个可变概率随机地挑选一个邻接点相应的agent作为目的地，从自己的坐标点移动到该目的地agent所在的坐标点。如果节点属于同一个社区，则他们之间的紧密度值应该偏高，即这些节点对应的agent之间应该是紧密相连的。从而这些移动的agent通过随机地移动将逐渐地形成一些团体。并且这些紧密相连的agent最终将聚集在二维空间的同一个坐标点。

本发明是通过以下技术方案实现的，主要包括以下三部分工作：

A、网络初始化；

B、随机游走；

C、分析节点的社区倾向性。

其中A部分的网络初始化包含以下三个步骤：

A1、给网络中的每个节点定义一个相应的移动agent；

A2、根据紧密度矩阵M初始化每个节点的属性；

A3、初始时每个节点形成一个独立的社区。

给定一个网络G，其有n个顶点和m条边。G的邻接矩阵是

矩阵中的元素a_ij代表节点i和j之间的关系强度。

其中步骤A1中，我们使用下标来区分agent和其相应的节点。例如，i₀代表节点i对应的agent。

其中步骤A2中，紧密度矩阵可以利用邻接矩阵

得到。

其中B部分的随机游走，对于每个agent i₀，它包含以下步骤：

B1、计算i₀的社区吸引性值CA’；

B2、计算i₀随机游走的随机移动概率；

B3、agent i₀根据随机移动概率从自己所在的坐标点开始往别处移动。

其中步骤B2中，agent i₀向c(j₀)所在的坐标点移动的随机移动概率可以通过归一化社区吸引性得到。

其中C部分的分析节点的社区倾向性包含以下两个步骤：

C1、计算当前社区结构下，每个节点的社区倾向性值；

C2、根据每个节点的社区倾向性值计算每个节点的Shannon商值。

本发明提供的基于随机游走策略的社区发现方法，它首先执行A部分，将该网络进行初始化；然后执行B部分。执行完B部分之后，如果当前网络中的社区结构不再发生变化，那么执行C部分，否则继续执行B部分。值得指出的是，在执行A部分之前应先设置多尺度参数t的值。通过改变t值，可以得到网络在所有层次下的社区结构。

在本发明所提供的技术方案中，通过采用一种基于随机游走的策略来进行网络的社区划分，它具有以下几个特点：

首先，agent的随机移动概率与agent间的社区吸引性有关，并且这个概率在随机游走的过程中是可变的，即自适应的。

其次是，本发明提出的基于随机游走策略的社区发现方法是一个社区发现方面的概率方法。它基于随机游走的agent，当节点在早期不小心被划分到不正确的社区时，仍然有机会在后期离开这个不正确的社区并移动到正确的社区。

再者是，我们通过统计节点在不同社区的频度，可以定量地分析社区结构中具有多重身份的节点特性。

附图说明

图1是本发明在一个八节点人造网络中的应用；

图2(a)是本发明中所验证的H 13-4人造网络中所有节点在四社区结构下分别属于社区i、ii、iii和iv的社区倾向性分布对比图；

图2(b)是本发明中所验证的H 13-4人造网络在四社区结构时每个节点的Shannon商值图；

图2(c)是本发明中所验证的H 13-4人造网络在十六社区结构时每个节点的Shannon商值图；

图3(a)是本发明中所验证的真实社会网络Zachary’s Karate俱乐部网络的划分结果图；

图3(b)是本发明中所验证的真实社会网络Zachary’s Karate俱乐部网络在2社区结构下各个节点的Shannon商值图；

图4是本发明中所验证的真实社会网络科学家协作网络的所得社区大小的累积分布函数关系图。

具体实施方式

本发明的核心思想是利用网络的局部探索来寻找每个节点所归属的自然社区。

为使本发明的目的、技术方案和优点更加清楚，下面分别讲述发明内容部分的网络初始化、随机游走和节点社区倾向性这三部分工作的具体实施细节。

(1)网络初始化

给定一个网络G，其有n个顶点和m条边。G的邻接矩阵是n×n矩阵A_n×n，矩阵中的元素a_ij代表节点i和j之间的关系强度。特别地，在无权图中，如果i和j相邻(即有边连接)则a_ij值为1，否则值为0。如果是加权图，则指a_ij的值为i和j之间的权值。M对角线上的元素值是未定义的，为了方便，这里设为0。

网络初始化时，在步骤A1中，这里使用下标来区分agent和其相应的节点。例如，i₀代表节点i对应的agent。

在步骤A2中，紧密度矩阵M可以通过如下的方式获得：

当无向图G是无权网时，给定图中节点i和节点j，如果它们是邻接点(有边相连的两个点)，则它们之间的紧密度值增加a_ij，即1。当i和j之间有一个共同的邻接点k(称为公共邻接点)，i和j之间的紧密度会再次增加1；而当i和j之间有多个公共邻接点，i和j之间的紧密度值则增加相应次。最终的数学表达式如下： $m_{\mathrm{ij}}=m_{\mathrm{ij}}^0+1+1*|\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)|=1+|\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)|.$ 其中，m_ij是M中元素经计算后的值，

是矩阵M在初始时的元素值。τ(i)是顶点i的邻接点的集合。|x|是集合x中的元素个数。

当无向图G是加权网时，同样地，给定图中节点i和j，它们是邻接点，此时它们之间的紧密度值依然增加a_ij。但是，当i和j有公共邻接点k时，i和j之间的紧密度值将增加

而不是a_ij；当i和j之间公共邻接点有多个时，i和j之间的紧密度值增加的值则为

最终的数学表达式如下：

$m_{\mathrm{ij}}=m_{\mathrm{ij}}^0+a_{\mathrm{ij}}+\underset{k\∈\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)}{\mathrm{\Σ}}(a_{\mathrm{ij}}*\sqrt{a_{\mathrm{ik}}*a_{\mathrm{jk}}})$

$=a_{\mathrm{ij}}(1+\underset{k\∈\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)}{\mathrm{\Σ}}\sqrt{a_{\mathrm{ik}}*a_{\mathrm{jk}}})$

在步骤A3中，网络中的每个节点自己形成一个独立的社区，即初始时总共有n个社区。此时每个节点对应的agent所处的坐标也是不同的。即n个节点初始时有n个社区，它们对应的agent总共也处于n个不同的坐标点。

(2)随机游走

在步骤B1中，假定agent j₀对agent i₀的吸引性是a_ij(a_ij是当前网络的邻接矩阵中的元素)，则c(j₀)对agent i₀的吸引性的定义为 ${\mathrm{CA}}^{\′}(i_0,c\left(j_0\right))={\left(\frac{\underset{s\∈\mathrm{\τ}\left(i\right)\∩C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{is}}\underset{p,q\∈\mathrm{\τ}\left(i\right)\∩C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{pq}}}{\underset{p,q\∈C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{pq}}}\right)}^t,$ 其中i₀，j₀分别代表节点i和节点j对应的agent，c(j₀)是与agent j₀的坐标点位置相同的所有agent的集合，C(j)是c(j₀)中所有agent其相应的网络中节点的集合，t，t＞0是多尺度参数(也称为分辨率参数)，m_ij是紧密度矩阵M中的元素，记录的是节点i和节点j间的紧密度值。

在步骤B2中，agent i₀向c(j₀)所在的坐标点移动的随机移动概率可以通过归一化社区吸引性得到，数学描述为

其中i₀，j₀分别代表节点i和节点j对应的agent，c(j₀)是与agent j₀的坐标点位置相同的所有agent的集合，CA′(i₀，c(j₀))是c(j₀)对agent i₀的社区吸引性，Γ(i)是节点i的邻接点相应的agent所构成的集合。

在步骤B3中，agent i₀实际将要往哪个坐标点移动，取决于它向哪个坐标点移动的随机移动概率值。这里agent i₀选择往随机移动概率值最大的那个坐标点移动。

(3)节点社区倾向性

在步骤C1中，给定节点i和最终发现的社区集Z，节点i属于社区Com_x，Com_x∈Z的社区倾向性是节点i在社区Com_x里的频度，公式描述为 $\mathrm{CT}(i,{\mathrm{Com}}_x)=\frac{s(i,{\mathrm{Com}}_x)}{{\mathrm{\Σ}}_{{\mathrm{Com}}_k\∈Z}s(i,{\mathrm{Com}}_k)}.$

在步骤C2中，考虑一个公共节点i，它的Shannon商(一种关于不确定性的指标，记为H(i))定义为 $H\left(i\right)=-\underset{{\mathrm{Com}}_k\∈Z}{\mathrm{\Σ}}\mathrm{CT}(i,{\mathrm{Com}}_k){\log }_b\mathrm{CT}(i,{\mathrm{Com}}_k),$ 其中b是对数的基数，CT(i，Com_x)是节点i属于社区Com_x，Com_x∈Z的社区倾向性。

需要注意的是，本发明提供的技术方案在每次实现之前，应首先设置多尺度参数t的值。通过不断地改变t值，最终可以得到网络在所有层次下的社区结构。

附图1是本发明提供的技术方案在一个八节点人造无权网络中的应用。附图1的子图(a)描述了网络初始化时的情况。每个节点自己形成一个社区，即初始时有8个不同的社区。子图(b)描述了agentA₀随机选择agentB₀所在的坐标点为目的地，然后离开本处移动到B₀的坐标点的过程。而子图(c)是最终划分出的网络社区结构(两个社区)。

附图2(a)是本发明提供的技术方案在H 13-4人造无权网络中应用时，所有节点在四社区结构下分别属于社区i、ii、iii和iv的社区倾向性分布对比图。H 13-4人造网络在度上是均匀的(每个节点的度相同)，并且有两个预定义的层次结构，节点之间边的引入倚赖于两节点是否同属于一组：节点数是256，每个节点与内部社区间的连边数是13，与外部社区间的连边数是4，并且与网络中其他任意一个节点之间的连边数是1。附图2(a)给出了多尺度参数t＝0.4时，所有节点的社区倾向性分布的对比图。根据附图2(a)可以看出，所有的节点被划分成了四个社区。节点1到节点64属于同一个社区，节点65到节点128属于同一个社区，节点129到节点192属于同一个社区，最后节点193到256属于同一个社区。并且节点的社区倾向性值为：CT(i，i)＞0.624，i∈[1，64]、CT(i，ii)＞0.623，i∈[65，128]、CT(i，iii)＞0.644，i∈[129，192]和CT(i，iv)＞0.612，i∈[193，256]。当多尺度参数t大于0.4时，会有16个社区形成，这16个小社区内部的连接非常紧密(比之前划分的4社区中社区内部的联系更为紧密)。通过标准化各个尺度下的CT值，“正确划分节点的比例”均是100％。

为了进一步分析附图2(a)中所述的H 13-4网络的特性，附图2(b)和附图2(c)分别给出了H 13-4网络在四社区和十六社区时每个节点的模糊度值，即Shannon商值。对比这两个Shannon商值图，“每个节点与内部社区的连边数是13，而与外部社区的连边数是4”这种结构使得在内部社区中的Shannon商值会比较低。

附图3(a)是本发明提供的技术方案在真实社会网络Zachary’s Karate俱乐部网络中应用时得到的划分结果图。Zachary’s Karate俱乐部网络中的节点代表俱乐部成员，边代表成员之间的社会交往，它共包含有34个成员和78条边，边代表俱乐部成员之间的关系。当多尺度参数t＝0.6时，Zachary’sKarate俱乐部网络被划分为2个社区，在图中分别用方块和圆圈表示。但是当t变大时，网络会逐渐地被分为3个社区乃至于4个社区。4社区结构在图中以不同灰度标识。本发明提供的技术方案所得到的3社区结构有两种情况。第一种情况是节点1、2、3、4、8、9、12、13、14、18、20、22属于同一社区，节点5、6、7、11、17属于同一社区，节点10、15、16、19、21、23、24、25、26、27、28、29、30、31、32、33、34属于同一社区；第二种情况是节点1、2、3、4、5、6、7、8、11、12、13、14、17、18、20、22、31属于同一社区，25、26、29、32属于同一社区，9、10、15、16、19、21、23、24、27、28、30、33、34属于同一社区。

附图3(b)是本发明提供的技术方案在附图3(a)中所述的Zachary’sKarate俱乐部网络中应用时，所得到的2社区结构下各个节点的Shannon商值图，此时的多尺度参数t＝0.6。

附图4是本发明提供的技术方案应用于真实网络——科学家协作网络时得到的关于社区大小的累积分布函数关系图。科学家协作网络最初是在BibTeX文献目录中得到的；网络中的顶点代表作者；如果两个作者之间至少合作了一篇论文或著作，则他们之间有边连接，边的值代表一起合作论文或著作的数目；简化后的网络图中有7343个顶点和11898条边。附图4中的四个子图是多尺度参数t分别为1、2、3和4时的累积分布图。在各个子图中，累积分布都近似服从3阶幂率分布。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种复杂网络中的社区结构发现技术，其特征在于，该技术不仅可以划分重叠社区，而且可以得到网络在各个层次下的社区结构。

2.根据权利要求1所述的社区结构发现技术，其特征在于，该技术是基于网络的局部探索来寻找每个节点所归属的自然社区。

3.根据权利要求1到2任意一项所述的社区结构发现技术，其特征在于，实现该技术需要引入一组agent集合，集合里的每个元素个体都代表相应网络中的一个节点，这些agent可以在一个二维空间中移动，同时在移动的过程中，将逐渐地形成一些团体，并最终将聚集在二维空间的同一个坐标点。

4.根据权利要求1到2任意一项所述的社区结构发现技术，其特征在于，实现该技术需要引入社区吸引性、社区倾向性的概念，并且包括网络初始化、随机游走和分析节点的社区倾向性三部分内容。

5.根据权利要求4中所述的随机游走，其特征在于，其包括计算社区吸引性、计算随机移动概率和agent移动三个步骤。

6.根据权利要求4到5任意一项所述的社区吸引性，其特征在于，假定agent j₀对agent i₀的吸引性是a_ij(a_ij是当前网络邻接矩阵中的元素)，则c(j₀)对agent i₀的社区吸引性的定义为 ${\mathrm{CA}}^{\′}(i_0,c\left(j_0\right))={\left(\frac{\underset{s\∈\mathrm{\τ}\left(i\right)\∩C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{is}}\underset{p,q\∈\mathrm{\τ}\left(i\right)\∩C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{pq}}}{\underset{p,q\∈C\left(j\right)}{\mathrm{\Σ}}{m}_{\mathrm{pq}}}\right)}^t,$ 其中i₀，j₀分别代表节点i和节点j对应的agent，c(j₀)是指与agent j₀的坐标点位置相同的所有agent的集合，C(j)指c(j₀)中全体agent所代表的相应网络中节点的集合，t，t＞0是多尺度参数(也称为分辨率参数)，m_ij是紧密度矩阵M中的元素，记录的是节点i和节点j间的紧密度值。

7.根据权利要求4到6任意一项所述的社区吸引性，其特征在于，利用此社区吸引性来对网络进行划分社区时，能够得到网络在多个层次下的社区结构。

8.根据权利要求4到6任意一项所定义的社区吸引性，其特征在于，归一化c(j₀)对agent i₀的社区吸引性可以得到agent i₀移动到c(j₀)的坐标位置的概率，即权利要求5中所述的随机移动概率，并且归一化的数学公式为

其中i₀，j₀分别代表节点i和节点j对应的agent，c(j₀)是指与agent j₀的坐标点位置相同的所有agent的集合，CA′(i₀，c(j₀))是c(j₀)对agent i₀的社区吸引性，Γ(i)是节点i的邻接点相应的agent所构成的集合。

9.根据权利要求4所述的社区倾向性，其特征在于，利用该社区倾向性可以定量地分析重叠社区中具有多重身份的节点特性。

10.根据权利要求4所述的社区倾向性，其特征在于，给定节点i和最终发现的社区集Z，节点i属于社区Com_x，Com_x∈Z的社区倾向性是节点i在社区Com_x里的频度，公式描述为

其中s(i，Com_x)是节点i被划分到社区Com_x里的次数。

Images