CN104657442A - 基于局部搜索的多目标社区发现方法 - Google Patents

Abstract

本发明公开了一种基于局部搜索的多目标社区发现方法，可用于网络功能分析和结构可视化，设计了增长更快的局部搜索方向，基于网络特点定义了局部邻域和邻域，采用计算目标函数增量值的方法降低了局部搜索的时间复杂度。本发明将该局部搜索方法和传统的进化搜索方法有机的结合起来，能够更加有效的分析多层次的社区结构。

Description

基于局部搜索的多目标社区发现方法

技术领域

本发明属于复杂网络技术领域，具体地说，涉及一种复杂网络中多层次社区结构发现方法，可用于网络功能分析和结构可视化。

背景技术

复杂网络中的社区发现方法对于理解网络的功能和可视化网络的结构等至关重要。通常来说，一个社区是网络中所有个体组成的集合的一个子集，该子集中的个体基于某种属性连接紧密，并和子集外的个体连接稀疏。

经对现有技术的文献检索发现，大部分社区发现方法可以被分为启发式方法和最优化方法。启发式方法通常基于直观的观察通过执行一些启发式规则来得到社区划分，但是这类方法通常缺乏对网络全局社区结构特征的精确描述。最优化方法将社区发现问题规划为组合优化问题，通过优化描述社区某种性质的目标函数来发现社区结构。传统的方法优化单一的目标函数，只能获得反应单一社区特性的社区结构。为了从多个角度刻画社区结构，Pizzuti等人于2012年在《IEEE Transactions on EvolutionaryComputation》上发表文章“A multiobjective genetic algorithm to find communitiesin complex networks”，提出通过优化多个目标函数来一次性发现多种社区结构。为了同时优化网络上的两个目标函数，Community Score(社区分数)和Community Fitness(社区健康度)，Pizzuti等人扩展设计了一种多目标遗传算法MOGA-Net。该方法从初始社区结构种群开始，对原有种群进行交叉操作、变异操作等形成新的社区种群，根据两个目标函数在原有种群和新种群中选择优秀的个体，组成新的子种群进行下一代的进化。经过多轮进化，种群中的个体所代表的社区结构将越来越符合两个目标函数定义的社区结构。该方法的本质基于遗传原理，具有较强的全局搜索能力，可以在社区划分空间中快速定位到质量较好的区域。然而，此方法缺乏有效的局部搜索能力，很容易在搜索到最优的社区结构之前，从一个质量较好的区域跳到另一个区域。因此，该方法不利于有效的发现近似最优的社区结构。本发明针对这一问题，在多目标进化社区发现方法中整合快速局部搜索过程，有效的发现复杂网络中多层次的社区结构。

发明内容

为了解决多目标社区发现方法局部搜索能力弱，无法有效发现最优社区结构的缺点，本发明提供了一种复杂网络中多层次社区结构发现方法，并将多目标进化社区发现算法和局部搜索方法有机的整合起来形成一个更有效准确的多层次社区结构发现方法。

为解决上述技术问题，本发明的实施例提供一种基于局部搜索的多目标社区发现方法，包括如下步骤：

S1、建立待分析网络的邻接矩阵A，为网络所有节点进行连续编号，编号从1开始。构建正方形矩阵A；矩阵中的元素A_ij为1代表对应的节点之间有边相连，为0代表对应的节点之间不存在边；

S2、构建社区发现的两个目标函数IntraQ和InterQ，

$\mathrm{IntraQ}={\mathrm{\Σ}}_{C\∈X}\frac{l_C}{m},$

其中，X是网络的某种社区划分，C是社区划分中的某个社区，l_C表示社区C内部的边的数量，m表示网络总的边数；

$\mathrm{InterQ}=1-{\mathrm{\Σ}}_{C\∈X}{\left(\frac{k_C}{2m}\right)}^2,$

其中，k_C表示社区C中节点总的度数，节点的度数表示与节点邻接的边数；

S3、初始化网络社区划分种群：

所述的步骤S3，具体为：

S31、采用社区标签编码法编码社区划分个体，即划分个体有N个位置，其中N为网络节点总数，每个位置对应一个节点，每个位置处的取值表示其对应节点的社区标签，具有相同社区标签的所有节点属于同一个社区，设定种群大小S_D，设定种群进化迭代次数G_max，初始化种群代数g＝0；

S32、生成S_D个相同的社区划分，在每个社区划分中随机选取一部分节点，将其社区标签赋予其所有相邻的节点，从而随机化每个社区划分，生成S_D个多样的社区划分作为初始种群B₀。

S4、全局搜索网络社区划分空间并更新社区划分种群；

所述的步骤S4，具体为：

S41、根据个体的两个目标函数值定义非支配关系，一个个体支配另一个个体表示该个体在目标函数上优于另一个个体，根据非支配关系找出群体B_g中所有非支配个体，非支配个体表示群体中最好的一部分个体。定义拥挤距离衡量社区划分个体在群体中所处位置的密度，所处位置越稀疏的个体越具有代表性和多样性，更适合生成更好的个体，按拥挤距离降序选取前S_D个非支配个体组成非支配种群，复制非支配种群生成外部非支配种群，用于保留该种群中的优秀个体；

S42、对非支配种群进行交叉操作，从非支配种群中随机选择两个社区划分作为交叉操作的父个体，随机选择一个节点，对两个父个体进行同样的操作：找出一个父个体中所有和该节点具有相同社区标签的个体，并将它们的社区标签赋予另一个个体中对应的个体，两个父个体交叉生成两个子个体，重复该过程次，所有新生成的子个体组成交叉社区划分种群；

S43、对交叉社区划分种群进行变异操作，对交叉社区划分种群中的每个划分进行变异，对划分中的每个节点，以变异概率将其社区标签赋予其所有邻居节点，生成新的变异个体，所有新变异的个体和未变异的个体组成变异社区划分种群。

S5、局部搜索社区划分空间并更新社区划分种群；

所述的步骤S5，具体为：

S51、选择外部非支配种群和变异社区划分种群分别作为局部搜索的两个初始种群，找出每个初始种群中所有非支配个体分别形成局部搜索的非支配种群；

S52、为两个非支配种群中的每个非支配划分计算局部搜索方向向量，搜索方向向量ω^PN为社区划分个体在目标函数空间中所在位置的近似法线向量，计算公式如下：

${\mathrm{\ω}}^{\mathrm{PN}}\left(X\right)=(\frac{f_2\left(X^1\right)-f_2\left(X^2\right)}{\mathrm{\π}},\frac{f_1\left(X^2\right)-f_1\left(X^1\right)}{\mathrm{\π}})$

其中，π＝f₂(X¹)-f₂(X²)+f₁(X²)-f₁(X¹),f₁和f₂分别表示社区划分的两个目标函数，X¹和X²是X在目标函数空间中两个相邻的社区划分，该方向近似对应目标函数增长的梯度方向；

S53、设定局部搜索最大迭代次数MI，为每个非支配社区划分定义局部邻域和邻域，局部邻域定义为移动某个节点到它相邻的社区中形成的社区划分组成的集合，邻域是其所有局部邻域的并集，在每个社区划分的局部邻域和邻域中利用网络结构搜索新的更优秀的社区划分代替原来的社区划分，具体操作为计算某个节点移动到邻居社区形成划分相对于原划分所带来的搜索方向上的目标函数的增量，在局部邻域中选择增量最大的邻居划分代替原来的划分，对每个节点重复该过程，找到邻域中最优的社区划分，在两个非支配种群上重复该过程MI次，形成两个局部搜索子种群。

S6、组合两个局部搜索子种群，生成下一代种群B_g，设置种群代数g＝g+1，如果g＜G_max，则返回步骤S4，否则进行步骤S7；

S7、找出最终的社区划分种群B_g中的所有非支配社区划分，计算每个非支配社区划分的社区数和模块度，根据社区数和模块度分析多层次的社区划分结构。

所述的步骤S7，具体为：找出最终的社区划分种群B_g中的所有非支配社区划分，计算每个非支配社区划分的社区数和模块度Q，模块度Q的计算公式如下：

$Q={\mathrm{\Σ}}_{C\∈X}[\frac{l_C}{m}-{\left(\frac{k_C}{2m}\right)}^2]$

其中，l_C表示社区C内部的边的数量；k_C表示社区C中节点总的度数；m表示网络总的边数。模块度值越大，表示划分的社区强度越大，根据社区数和模块度从社区划分种群中选择并分析多层次的社区划分结构。

本发明具有以下有益效果：

在传统的多目标进化社区算法中整合了局部搜索方法，增强了社区空间的局部搜索能力，使种群更快的收敛到有意义的多层次社区结构；采用的局部搜索方法为每个个体设置合适的搜索方向和定义局部领域与领域，并采用基于网络结构的局部搜索策略，与现有的进化社区算法中的局部搜索方法相比，种群能够更快的收敛到稳定优秀的社区结构。

附图说明

图1为本发明设计的局部搜索的搜索方向示意图。

图2为本发明整合局部搜索和不整合局部搜索时的性能对比图。

图3为本发明和多个已有方法之间的性能对比图。

图4为本发明分析一个现实网络的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于局部搜索的多目标社区发现方法，包括如下步骤：

步骤1，建立待分析网络的邻接矩阵。为网络所有节点进行连续编号，编号从1开始。构建正方形矩阵A，其元素A_ij为1表示节点i和节点j之间存在无向的边，为0表示节点之间不存在边。

步骤2，构建社区发现的两个目标函数IntraQ和InterQ，用于计算社区划分种群的目标函数值。目标函数IntraQ为：

$\mathrm{IntraQ}={\mathrm{\Σ}}_{C\∈X}\frac{l_C}{m},$

其中，X是网络的某种社区划分，C是社区划分中的某个社区，l_C表示社区C内部的边的数量，m表示网络总的边数。该目标函数计算社区划分中所有社区内部边占网络所有边的比例。该值越大，表示社区内部边的连接越紧密。

目标函数InterQ为：

$\mathrm{InterQ}=1-{\mathrm{\Σ}}_{C\∈X}{\left(\frac{k_C}{2m}\right)}^2,$

其中，k_C表示社区C中节点总的度数，节点的度数表示与节点邻接的边数；该目标函数计算1减去社区划分中社区内部节点度数占网络总度数比例的平方和。该值越大，表示社区之间连接越稀疏。

步骤3，初始化网络社区划分种群。采用社区标签编码法编码社区划分个体，即划分个体有N个位置，其中N为网络节点总数，每个位置对应一个节点，每个位置处的取值表示其对应节点的社区标签，具有相同社区标签的所有节点属于同一个社区。设定种群大小S_D，设定种群进化迭代次数G_max，初始化种群代数g＝0。

生成S_D个相同的社区划分，在每个社区划分中随机选取一部分节点，将其社区标签赋予其所有相邻的节点，从而随机化每个社区划分，生成S_D个多样的社区划分作为初始种群B₀。

步骤4，全局搜索网络社区划分空间并更新社区划分种群。根据个体的两个目标函数值定义非支配关系，一个个体支配另一个个体表示该个体在目标函数上优于另一个个体。根据非支配关系找出群体B_g中所有非支配个体，非支配个体表示群体中最好的一部分个体。定义拥挤距离衡量社区划分个体在群体中所处位置的密度，所处位置越稀疏的个体越具有代表性和多样性，更适合生成更好的个体，按拥挤距离降序选取前S_D个非支配个体组成非支配种群。复制非支配种群生成外部非支配种群，用于保留该种群中的优秀个体。

对非支配种群进行交叉操作，从非支配种群中随机选择两个社区划分作为交叉操作的父个体，随机选择一个节点，对两个父个体进行同样的操作：找出一个父个体中所有和该节点具有相同社区标签的个体，并将它们的社区标签赋予另一个个体中对应的个体。两个父个体交叉生成两个子个体，重复该过程次，所有新生成的子个体组成交叉社区划分种群。

对交叉社区划分种群进行变异操作，对交叉社区划分种群中的每个划分进行变异，对划分中的每个节点，以变异概率将其社区标签赋予其所有邻居节点，生成新的变异个体。所有新变异的个体和未变异的个体组成变异社区划分种群。

步骤5，局部搜索社区划分空间并更新社区划分种群。选择外部非支配种群和变异社区划分种群分别作为局部搜索的两个初始种群，找出每个初始种群中所有非支配个体分别形成局部搜索的非支配种群。为两个非支配种群中的每个非支配划分计算局部搜索方向向量，如图1所示，搜索方向向量ω^PN为社区划分个体在目标函数空间中所在位置的近似法线向量，计算公式如下：

${\mathrm{\ω}}^{\mathrm{PN}}\left(X\right)=(\frac{f_2\left(X^1\right)-f_2\left(X^2\right)}{\mathrm{\π}},\frac{f_1\left(X^2\right)-f_1\left(X^1\right)}{\mathrm{\π}})$

其中，π＝f₂(X¹)-f₂(X²)+f₁(X²)-f₁(X¹),f₁和f₂分别表示社区划分的两个目标函数。该方向近似对应目标函数增长的梯度方向。

设定局部搜索最大迭代次数MI，为每个非支配社区划分定义局部邻域和邻域，局部邻域定义为移动某个节点到它相邻的社区中形成的社区划分组成的集合，邻域是其所有局部邻域的并集。在每个社区划分的局部邻域和邻域中利用网络结构搜索新的更优秀的社区划分代替原来的社区划分，具体操作为计算某个节点移动到邻居社区形成划分相对于原划分所带来的搜索方向上的目标函数的增量，在局部邻域中选择增量最大的邻居划分代替原来的划分，对每个节点重复该过程，找到邻域中最优的社区划分。在两个非支配种群上重复该过程MI次，形成两个局部搜索子种群。

步骤6，组合两个局部搜索子种群，生成下一代种群B_g，设置种群代数g＝g+1，如果g＜G_max，则返回步骤4，否则进行步骤7；

步骤7，找出最终的社区划分种群B_g中的所有非支配社区划分，计算每个非支配社区划分的社区数和模块度Q，模块度Q的计算公式如下：

$Q={\mathrm{\Σ}}_{C\∈X}[\frac{l_C}{m}-{\left(\frac{k_C}{2m}\right)}^2]$

其中，l_C表示社区C内部的边的数量；k_C表示社区C中节点总的度数；m表示网络总的边数。模块度值越大，表示划分的社区强度越大。根据社区数和模块度从社区划分种群中选择并分析多层次的社区划分结构。

本发明的有效性可以通过下面的仿真实验来进一步说明。需要说明的是，实验中应用的参数不影响本发明的一般性。

1)仿真条件：

CPU IntelDual-Core 2.80GHz，RAM 3.00GB，操作***Windows 7，仿真软件Matlab2010。

2)仿真内容：

分别选取人工生成网络和现实世界网络进行实验。人工生成网络使用Girvan和Newman于2002年在《Proceedings of the National Academy of Sciences of the UnitedStates of America》上发表的“Community structure in social and biologicalnetworks”中提出的GN基准网络。该网络使用混合参数μ调整网络的模糊程度，μ值越大，网络社区结构越难被很好的发现。为了衡量发明的性能，使用两个性能指标，标准互信息(NMI)和模块度(Q)。NMI值越接近于1，说明方法发现的社区结构越接近真实的社区结构，Q的值越大，说明发现的社区结构越符合社区的定义，即社区内部节点连接稠密，社区之间连接稀疏。

本发明在仿真实验中用MMCD表示。为了验证本发明整合的局部搜索对社区发现性能的影响，设计一个本发明的变体MOA，该变体去除了本发明中的局部搜索过程。首先在GN基准网络上进行实验，本发明的参数设置如下，种群大小为100，局部搜索迭代次数为1，变异概率为0.01。为了验证本发明能更有效的发现优秀的社区结构，在GN基准网络上运行不同种群代数的MMCD和MOA，实验结果如图2所示，本发明平均只需要两次迭代就能获得真实的社区划分，而变体MOA在经过80次迭代后仍未获得真实的社区划分，并且本发明的性能更加稳定。该仿真实验验证了本发明整合的局部搜索对于方法性能提升的有效性。

进一步将本发明与8个其他的社区发现方法在GN网络上进行仿真对比。这八个方法如下，Clauset等人于2004年在《Physical Review E》上发表的“Finding communitystructure in very large networks”中提出的CNM方法，Vincent等人于2008年在《Journal of Statistical Mechanics》上发表的“Fast unfolding of communities inlarge networks”中提出的Louvian方法，Rosvall和Bergstrom于2008年在《Proceedings of the National Academy of Sciences of the United States ofAmerica》上发表的“Maps of random walks on complex networks reveal communitystructure”中提出的Infomap方法，Pizzuti于2008年发表的“GA-Net:A geneticalgorithm for community detection in social networks”中提出的GA-Net方法，Pizzuti于2012年在文章“A multiobjective genetic algorithm to find communitiesin complex networks”中提出的MOGA-Net方法，Gong等人于2011年在文章“Memeticalgorithm for community detection in networks”中提出的Meme-Net方法，本发明的两个变体方法MOA和LSA，其中LSA是本发明局部搜索部分形成的方法。

仿真实验结果如图3所示，当混合参数小于0.05时，所有的方法都能发现真实的社区结构，随着混合参数值的增加，GA-Net，MOGA-Net和MOA的性能下降。当混合参数大于0.25小于0.4时，只有Infomap，Louvain和MMCD可以发现真实的社区结构。随着混合参数的进一步增加，所有方法都无法发现真实的社区结构，但是从NMI值和Q值可以看出，本发明比其他所有的方法都具有更好的性能。

最后，在一个已知真实社区结构的现实世界网络上验证本发明。该网络是杂志网，包含40种杂志。这些杂志来源于4个不同的领域，即物理，化学，生物和生态学，每个领域有10本杂志。一种杂志中如果至少有一篇文章引用另一种杂志的文章，则这两种杂志之间存在边。在该网络上运行本发明的结果如图4所示，其中(a)表示最终划分群体在两个目标函数上的取值图，在该取值图上选取3个有代表性的社区划分进行可视化，可视化结果为图(b)，(c)，(d)。可视化图中，圆形，正方形，菱形和三角形分别表示物理，化学，生物和生态学杂志。每个图中不同的灰度深度代表本发明划分出的社区结构。可以发现在图4(b)中，本发明成功发现真实的社区结构。在图4(c)中，本发明发现三个社区，其中将真实的物理杂志和化学杂志划分为一个社区。在图4(d)中，本发明发现两个社区，其中将真实的物理杂志和化学杂志划分为一个社区，将真实的生物杂志和生态杂志划分为一个社区。根据常识，物理和化学通常联系紧密，而生物和生态学通常联系紧密，因此本发明发现的几种社区结构都是有意义的。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于局部搜索的多目标社区发现方法，其特征在于，包括如下步骤：

S1、建立待分析网络的邻接矩阵A，为网络所有节点进行连续编号，编号从1开始，构建正方形矩阵A；

S2、构建社区发现的两个目标函数IntraQ和InterQ，

$\mathrm{IntraQ}={\mathrm{\Σ}}_{C\∈X}\frac{l_C}{m},$

其中，X是网络的某种社区划分，C是社区划分中的某个社区，l_C表示社区C内部的边的数量，m表示网络总的边数；

$\mathrm{InterQ}=1-{\mathrm{\Σ}}_{C\∈X}{\left(\frac{k_C}{2m}\right)}^2,$

其中，k_C表示社区C中节点总的度数，节点的度数表示与节点邻接的边数；

S3、初始化网络社区划分种群；

S4、全局搜索网络社区划分空间并更新社区划分种群；

S5、局部搜索社区划分空间并更新社区划分种群；

S6、组合两个局部搜索子种群，生成下一代种群B_g，设置种群代数g＝g+1，如果g＜G_max，则返回步骤S4，否则进行步骤S7；

S7、找出最终的社区划分种群B_g中的所有非支配社区划分，计算每个非支配社区划分的社区数和模块度，根据社区数和模块度分析多层次的社区划分结构。

2.根据权利要求1所述的基于局部搜索的多目标社区发现方法，其特征在于，所述的步骤S3，具体为：

S31、采用社区标签编码法编码社区划分个体，即划分个体有N个位置，其中N为网络节点总数，每个位置对应一个节点，每个位置处的取值表示其对应节点的社区标签，具有相同社区标签的所有节点属于同一个社区，设定种群大小S_D，设定种群进化迭代次数G_max，初始化种群代数g＝0；

S32、生成S_D个相同的社区划分，在每个社区划分中随机选取一部分节点，将其社区标签赋予其所有相邻的节点，从而随机化每个社区划分，生成S_D个多样的社区划分作为初始种群B₀。

3.根据权利要求1所述的基于局部搜索的多目标社区发现方法，其特征在于，所述的步骤S4，具体为：

S41、根据非支配关系找出群体B_g中所有非支配个体，按拥挤距离降序选取前S_D个非支配个体组成非支配种群，复制非支配种群生成外部非支配种群，用于保留该种群中的优秀个体；

S42、对非支配种群进行交叉操作，从非支配种群中随机选择两个社区划分作为交叉操作的父个体，随机选择一个节点，对两个父个体进行同样的操作：找出一个父个体中所有和该节点具有相同社区标签的个体，并将它们的社区标签赋予另一个个体中对应的个体，两个父个体交叉生成两个子个体，重复该过程次，所有新生成的子个体组成交叉社区划分种群；

S43、对交叉社区划分种群进行变异操作，对交叉社区划分种群中的每个划分进行变异，对划分中的每个节点，以变异概率将其社区标签赋予其所有邻居节点，生成新的变异个体，所有新变异的个体和未变异的个体组成变异社区划分种群。

4.根据权利要求1所述的基于局部搜索的多目标社区发现方法，其特征在于，所述的步骤S5，具体为：

S51、选择外部非支配种群和变异社区划分种群分别作为局部搜索的两个初始种群，找出每个初始种群中所有非支配个体分别形成局部搜索的非支配种群；

S52、为两个非支配种群中的每个非支配划分计算局部搜索方向向量，搜索方向向量ω^PN为社区划分个体在目标函数空间中所在位置的近似法线向量，计算公式如下：

${\mathrm{\ω}}^{\mathrm{PN}}\left(X\right)=(\frac{f_2\left(X^1\right)-f_2\left(X^2\right)}{\mathrm{\π}},\frac{f_1\left(X^2\right)-f_1\left(X^1\right)}{\mathrm{\π}})$

其中，π＝f₂(X¹)-f₂(X²)+f₁(X²)-f₁(X¹)，f₁和f₂分别表示社区划分的两个目标函数，X¹和X²是X在目标函数空间中两个相邻的社区划分，该方向近似对应目标函数增长的梯度方向；

S53、设定局部搜索最大迭代次数MI，为每个非支配社区划分定义局部邻域和邻域，在每个社区划分的局部邻域和邻域中利用网络结构搜索新的更优秀的社区划分代替原来的社区划分，在两个非支配种群上重复该过程MI次，形成两个局部搜索子种群。

5.根据权利要求1所述的基于局部搜索的多目标社区发现方法，其特征是，所述的步骤S7，具体为：找出最终的社区划分种群B_g中的所有非支配社区划分，计算每个非支配社区划分的社区数和模块度Q，计算公式如下：

${Q=\mathrm{\Σ}}_{C\∈X}[\frac{l_C}{m}-{\left(\frac{k_C}{2m}\right)}^2]$

其中，l_C表示社区C内部的边的数量；k_C表示社区C中节点总的度数；m表示网络总的边数。