CN103945238A - 一种基于用户行为的社区探测方法 - Google Patents

Abstract

本发明提出一种基于用户行为的社区探测方法，对现有的方法进行改进。探测方法包括：分析用户的历史播放记录，获取相似的播放行为；将每条记录映射到一个二维平面内，完成数据到单元格的映射；将具有相似播放行为的记录聚合为数据堆，完成初步聚类，并抽取一部分具有代表性的播放行为作为其播放模式；匹配用户当前的播放行为，判断该行为属于哪一种播放模式，将具有相似播放行为(即：属于同一播放模式)的节点组合起来，完成二次聚类，并构成社区。通过本方案的实现使得每个数据堆中的记录具有相似的播放行为，更有利于用户之间协同获取视频内容并高效共享本地资源，另外，基于播放模式的聚类使得用户行为的特征描述更加精确，稳定性较高。

Description

一种基于用户行为的社区探测方法

技术领域

本发明涉及通信领域，具体涉及一种基于用户行为的社区探测方法。

背景技术

随着移动无线通信技术的发展，各种实时、动态、异构的流媒体业务逐渐成为推动未来互联网发展的重要力量。尤其在车辆自组网(VANETs)中，新技术的产生，促使各种基于车载网的流媒体应用逐渐增多，用户对视频点播(VoD)的体验度也逐渐增强。因此，服务供应商急需一种支持交互、协同、共享的视频点播服务来加快内容分发效率，保证可靠的服务质量，并在满足用户各种需求的情况下提高网络资源的利用率。

为了实现交互的视频点播服务，服务供应商需要从用户的播放日志中准确提取用户的播放行为。目前，所采用的提取用户行为的方法不仅导致用户之间共享内容的效率低下，而且造成了大量的维护开销。另外，由于各个车辆节点的地理位置分布不同导致其具有很强的移动性，这也将在很大程度上降低内容的交付效率。因此，服务供应商迫切需要一种基于用户行为的混合解决方法，这种方法不仅能够聚合分布的视频资源，支持高效的内容检索，而且能够解决节点的高移动性问题。

近几年，大量的研究人员已经开始利用虚拟社区来对资源进行管理，即：将具有相似特征的用户组织成社区，目的是提高内容共享能力及减少不必要开销。为了准确地将相似节点组成社区，研究者需要设计一种高精确的社区检测方法。例如：SPOON，它根据节点存储的内容及交互频率将相似的用户节点构建成社区以进行内容共享，实现了资源的快速查找。但是，由于该方法是一种分层的聚类方法，因此它具有两方面的不足：一方面不能准确地评估节点的兴趣相似度，另一方面不能清楚地定义社区的边界，这两方面将严重导致内容的检索效率下降，不适合当前的VoD服务。Datta等人提出两种稳定的分布式K-means聚类方法，这两种方法考虑节点开销和通信效率两个因素，目的是将数据及计算资源均匀地分布在P2P覆盖网上。第一种采用集中式K-means聚类算法，其在动态的P2P网络环境下，通过采用与邻居节点交换消息的方式来反复地调整中心节点；第二种则是在静态的P2P网络环境下，利用均匀取样的方法来聚合节点。但是，前者具有两方面的不足：一方面由于样本节点间的差异导致数据及计算资源不能很好地均匀分布，另一方面利用阀值来计算社区的边界将导致聚合的精确度下降。后者只能依靠静态的网络环境来实现，无法适应现在动态、异构、移动的互联网环境。Hammouda等人提出一种应用在结构化P2P网络下的分布式数据聚类方法(HP2PC)，HP2PC利用节点之间的通信能力，为每一个邻居中的节点设计一种聚类方案。HP2PC通过社区来分解聚类问题，并利用分布式K-means算法，将初始的集群合并在下层，以构建层次化的P2P社区架构。但是，层次化的聚类依靠的是一种节点相似度的评估方法，其在P2P网络环境下通过节点之间的交互并不能清晰地定义社区的边界，从而造成聚合的精确度下降。

综上所述，为了将相似节点聚合成虚拟社区来对资源进行高效管理，首要问题是设计一种稳定的社区探测方法，其能精确地描述用户的播放行为，并能将行为相似的节点高效地聚类为社区。由于用户播放模式可以精确地描述相似的用户播放行为，因此它在VoD社区检测中起着十分重要的作用。在未来移动流媒体业务中，含有相同或者相似内容块的节点将具有相似的用户播放模式，因此管理者可以将这些节点组成社区，以使其成员之间能够相互协同地获取视频内容并实现本地资源的高效共享。

发明内容

有鉴于此，本发明提出一种基于用户行为的社区探测方法，所述方法包括：

分析用户的历史播放记录，获取相似的播放行为；

将每条记录映射到一个由播放连续性和播放时间组成的二维平面内，完成数据到单元格的映射；

将具有相似播放行为的记录聚合为数据堆，完成初步聚类，并抽取一部分具有代表性的播放行为作为其播放模式；

匹配用户当前的播放行为，判断该行为属于哪一种播放模式，将具有相似播放行为(即：属于同一播放模式)的节点组织起来，完成二次聚类，并构成社区。

所述的分析历史播放记录的方法包括：

定义每一个历史播放记录tr_i；

确定tr_i的连续播放子串str_c，并定义其播放连续性；。

所述的映射方法包括：

将任意1×1区域划分为m×m单元，m设置为(|S_tr|为S_tr中的条目个数)；

判断用户的播放行为记录是否在单元格内，完成数据到单元格的映射。

所述的初步聚类方法包括：

从初始点起，利用2²×2²希尔伯特曲线搜索未知的数据区域，将每一个2²×2²单元区域作为一个子域，蚂蚁从现有的单元中选择数据并记录其访问的单元数目；

通过对整个未知子域的搜索，评估搜索过程中数据密度的变化，设置一个约束条件判定蚂蚁的搜索流程是否需要终止并丢弃其携带的数据，当数据被丢弃时，它将离开这个区域；

随后的任意蚂蚁将忽略被标记的单元，并继续在新的单元中进行搜索；

利用数据堆中各记录之间的差异度，判定每一个数据堆的堆中心，它是与所在数据堆中其他记录之间差异度最小的记录；

判断单个数据单元、小规模数据堆的堆中心与大规模数据堆的堆中心之间的差异，利用它们之间的差异度及平均差异度将其合并为大规模数据堆。

所述的二次聚类方法包括：

将每条用户播放行为记录转换为长度为n的二进制串，其中每一位对应一个视频块，通过计算两个记录之间的汉明距离来判断播放内容的相似度；

利用C-Means聚类算法对初步聚类后的结果做进一步处理，最后得到较精确的基于播放内容的聚类结果。

本发明具有如下技术效果：

通过利用播放时间和播放连续性两个兴趣度因子来描述用户播放行为记录，并将其映射在一个二维空间上，运用模糊蚁群聚类算法，有利于精确地将相似的播放行为记录聚合到一个数据堆，并减少聚合过程中的干扰因素。同时，利用模糊C-Means聚类算法对数据堆中的所有数据条目进行二次聚类，提高聚合的可靠性及稳定性。本发明所述的方案，不但使播放行为的特征描述更加精确，稳定性较高，更有利于用户之间协同获取视频内容并高效共享本地资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于用户行为的社区探测方法流程图；

图2为本发明所提供的数据到单元格的映射关系图；

图3为本发明所提供的2²×2²的希尔伯特曲线图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将根据附图对本发明实施方式做进一步地详细阐述。

本发明利用播放时间和播放连续性两个参数来描述用户行为信息，并将播放行为记录映射在一个二维空间上。与传统的蚁群聚类算法不同，本发明所提出的模糊蚁群聚类算法中的每个蚂蚁将基于希尔伯特曲线对一个未知区域进行搜索，并且根据搜索结果智慧地携带数据。

实施例一

本发明实施例提供了一种分析历史播放记录的方法，方法流程包括：

本发明将保存在视频服务器中的任意一个流媒体资源划分为n个等长的块：定义每一个播放记录tr_i＝(c_a，c_b，...，c_v)，tr_i∈S_tr，v≤n，S_tr表示历史播放日志集，a，b，v表示用户i观看视频块的ID，n表示视频的总长度。

播放记录tr_i中的条目个数表示用户i观看视频的长度，定义为|tr_i|(tr_i的长度)。本发明将播放记录tr_i中连续的块构造成一个子串，例如：c₁,c₂,c₃是记录tr_j＝(c₁，c₂，c₅，...，c_n)中连续的视频块，则它们将被认为是一个子串。记录tr_i中子串的长度越长，则用户i对当前内容的兴趣度越高。本发明根据子串的长度值，定义tr_i的播放连续程度如公式(1)：

$u_{t{r}_i}={\mathrm{\Σ}}_{c=1}^h\left|{\mathrm{str}}_c\right|,{\mathrm{str}}_c\∈{\mathrm{tr}}_i---\left(1\right)$

其中str_c表示tr_i中的一个子串，|str_c|为str_c的长度，h代表记录tr_i中所含子串的个数。为了方便，本发明利用公式(2)将|str_c|和规范化，如下：

$L_{{\mathrm{tr}}_i}=\left\{\begin{array}{cc}\frac{\left|{\mathrm{tr}}_i\right|}{n},& 0\≤\frac{\left|{\mathrm{tr}}_i\right|}{n}\≤1\\ 1,& \frac{\left|{\mathrm{tr}}_i\right|}{n}>1\end{array}\right.,\stackrel{\‾}{u_{{\mathrm{tr}}_i}}=\left\{\begin{array}{cc}\frac{u_{{\mathrm{tr}}_i}}{n},& 0\≤\frac{u_{{\mathrm{tr}}_i}}{n}\≤1\\ 1,& \frac{u_{{\mathrm{tr}}_i}}{n}>1\end{array}\right.---\left(2\right)$

实施例二

结合上述实施例一的内容，本发明实施例提供了一种数据到单元格的映射方法，以基于图2所示的方法为例进行说明：

如图2(a)所示，根据值和本发明将S_tr中的所有条目映射在一个二维平面内，坐标轴分别为播放连续性和播放时间。为了完成数据到单元格的映射，本发明将任意一个1×1的区域划分为m×m的单元格，如图2(b)所示，m的值设置为(|S_tr|表示S_tr中的条目个数)。映射方法如下：

1)如果区域中划分的数据位于单元格的边界，则需要将它放置在相邻的单元格内。为了使这些数据更好地构成堆(或合并在现存的堆中)，本发明将它们优先放置在含有数据的邻近单元格内。

2)如果有多个邻近的单元格中含有数据，则将它们放置在含有数据最多的单元格内。

3)如果所有邻近的单元格中都不含数据，则将它们随机放置在邻近的单元格内。

这样就实现了数据到单元格的映射过程，并为下一步FAC聚类算法做准备。

结合上述实施例一、二的内容，本发明实施例提供了一种基于FAC的初步聚类方法，本实施例具体流程包括：

与传统的蚁群聚类算法不同，在FAC聚类算法中，蚂蚁将具有特殊的搜索行为。如图3所示，将每一个2²×2²的单元区域看作为一个子域，蚂蚁从原点出发，利用2²×2²的希尔伯特曲线探索未知的单元区域。当一个蚂蚁在子域中搜索未知单元时，为了携带多种数据，它从现有的单元格中选择数据并记录所访问的单元格数目。当蚂蚁已经完成对一个未知子域的搜索时，本发明根据公式(3)计算其数据密度，如下：

$\mathrm{den}=\frac{N_{\mathrm{data}}}{N_{\mathrm{cell}}}---\left(3\right)$

其中，N_data表示一个蚂蚁携带的数据条目的个数，N_cell表示蚂蚁搜索的单元格个数。当蚂蚁搜索完未知子域之后，它将对搜索过程中数据密度的变化情况进行评估。一旦den^(k)＞den^(k+1)，即：第k+1^th个子域的数据密度小于第k^th个子域的数据密度，蚂蚁将停止搜索并丢弃携带的数据。搜索的约束条件表明蚂蚁从一个稠密的数据区域移动到一个稀疏的数据区域。蚂蚁对搜索过的单元格进行标记，以说明单元格中的数据已经处理完成。当一个蚂蚁丢弃其所携带的数据时，它将离开搜索区域，随后进来的任意蚂蚁将忽略被标记的单元格，并继续在新的单元格中搜索，上述流程的详细伪代码如算法1所示。

经过上述所描述的初始化聚类之后，区域中将存在着三种类型的数据集合，即：小规模数据堆、大规模数据堆和单个数据单元。为了去除单个数据单元并将小规模数据堆合并为大规模数据堆，本发明将对其作进一步的处理。在每一个数据堆中都需要有一个堆中心，它是数据堆中与除自身之外的其他记录之间具有最小差异度的记录，公式(4)表示数据堆中记录d_i和d_j之间的兴趣差异度，如下：

$D_{\mathrm{ij}}=\sqrt{{(L_{{\mathrm{tr}}_i}-L_{t{r}_j})}^2+{(\stackrel{\‾}{u_{{\mathrm{tr}}_i}}-\stackrel{\‾}{u_{{\mathrm{tr}}_j}})}^2}---\left(4\right)$

记录d_i和d_j之间的差异度越低，则说明它们的相关特征越相似。利用公式(4)，则可以计算d_i与数据堆内其他记录之间的兴趣差异度，并进一步获得这些差异度的平均值，如公式(5)：

${\stackrel{\‾}{D}}_i=\frac{{\mathrm{\Σ}}_{c=1}^{\left|{\mathrm{HP}}_k\right|}{D}_{\mathrm{ic}}}{\left|{\mathrm{HP}}_k\right|}---\left(5\right)$

其中，|HP_k|表示数据堆HP_k中总的数据条目。如果小于数据堆中其他记录的平均兴趣差异度，则本发明将记录d_i作为该数据堆的堆中心。根据两个数据堆的堆中心之间的兴趣差异度及平均兴趣差异度，本发明按照如下两种规则对小规模数据堆进行合并。

规则1：存在两个数据堆HP_k和HP_h，它们的堆中心分别为d_i和d_j，与数据堆内其他记录之间的平均兴趣差异度分别为和如果两个堆中心d_i和d_j之间的兴趣差异度D_ij小于或者则数据堆HP_k和HP_h将会被合并为一个新的数据堆，并为其重新选择一个堆中心。

根据规则1的合并方法，一些在相同区域内、相互之间含有较小兴趣差异度的小规模数据堆将会被合并为大规模数据堆。对单个数据单元的处理方法类似于小规模数据堆合并方法，如规则2所述。

规则2：存在单个数据条目d_a，及数据堆HP_p，其堆中心为d_b，如果d_a和d_b之间的兴趣差异度D_ab小于d_a与其他数据堆的堆中心之间的兴趣差异度，则将该数据条目d_a加入到数据堆HP_p中。

模糊蚁群聚类算法利用计算兴趣差异度的方法将携带播放行为的记录组合成大规模数据堆，这些数据堆具有高聚合性和低耦合性。令S_HP表示一个数据堆集合，用来存储当前的所有数据堆条目，即：

实施例四

结合上述实施例三的内容，本实施例提供了一种基于C-Means算法的二次聚类方法，本实施例具体方法流程包括：

一般情况下，两种播放行为记录的兴趣差异度越大，它们的播放模式差异程度越高。但是，如果它们的兴趣差异度较小，这并不能保证其具有相似的播放模式。在社区探测算法中被处理的都是用户历史播放记录，处理的过程就是将具有相似播放行为的记录聚类，由于其没有考察记录中包含的播放内容，导致这种聚类的结果无法保证用户播放行为是相似的，因此本发明通过播放内容来进行二次聚类。

两种播放行为记录tr_i和tr_j，本发明将其转换为长度为n的二进制串，分别为BS_i和BS_j，同时按照原来的顺序，每一个bit位将对应一个视频块。如果视频块包含在记录中，则对应的bit位的值为1，其余的bit位将设置为0。根据汉明距离，本发明定义tr_i和tr_j之间的模式差异度，如公式(6)：

$D_{{\mathrm{play}}_{\mathrm{ij}}}=D_{\mathrm{Ham}\min g}({\mathrm{BS}}_i,{\mathrm{BS}}_j)---\left(6\right)$

本发明对每一个初始化的数据堆重新选择堆中心，类似于选择基于兴趣差异度的数据堆的堆中心，基于模式差异度的堆中心应该是数据堆中与除自身以外的其他记录之间具有最小平均模式差异度的记录。利用公式(7)定义平均模式差异度，如下：

$\stackrel{\‾}{D_{{\mathrm{play}}_i}}=\frac{{\mathrm{\Σ}}_{c=1}^{\left|{\mathrm{HP}}_k\right|}{D}_{{\mathrm{play}}_{\mathrm{ic}}}}{\left|{\mathrm{HP}}_k\right|}---\left(7\right)$

本发明利用C-Means聚类算法对上述初步聚类后的结果(数据堆)做进一步处理，其二次聚类方法如下所述：

步骤1：首先根据等式(8)计算目标函数值如下：

$J_m^T(W,V)={\mathrm{\Σ}}_{i=1}^{\left|S_{\mathrm{tr}}\right|}{\mathrm{\Σ}}_{j=1}^c{w}_{\mathrm{ij}}^m{D}_{{\mathrm{play}}_{\mathrm{ij}}},{\mathrm{\Σ}}_{j=1}^c{w}_{\mathrm{ij}}=1,w_{\mathrm{ij}}\≥0---\left(8\right)$

其中，m表示模糊度，v_j表示基于模式差异度的堆中心，c表示存在的数据堆个数，T表示迭代的次数，w_ij表示第i^th个数据条目在第j^th个数据堆中的社会关系。本发明令L_remove表示一个列表，用来记录数据堆中被移除的记录。

步骤2：如果S_HP是一个非空的集合，那么选择任意数据堆HP_k∈S_HP用来作为二次聚类的目标，并且在S_HP中移除HP_k。否则，如果S_HP是一个空的集合，那么将S_HP中的所有条目聚类为基于播放内容的数据堆，同时此次迭代结束。

步骤3：在数据堆HP_k中，如果存在一个记录d_u，且它与数据堆的堆中心具有最大的模式差异度，则将该记录从HP_k中移除。同时，HP_k将重新选择一个新的基于模式差异度的堆中心并获得

步骤4：如果那么记录d_u将被认定为干扰因子而被推送到L_remove中，同时算法返回到步骤3。

步骤5：如果那么当前HP_k中的所有记录将被构建成一个基于播放内容的数据堆，如果L_remove是一个非空的集合，那么L_remove中的所有条目将被构建成一个基于兴趣的数据堆HP_h，HP_h被推送到S_HP中，同时算法返回到步骤2。

通过上述的算法，本发明实施例将所有基于兴趣的数据堆转变为基于播放内容的数据堆。同时，使用堆中心的特征来描述数据堆中用户的播放行为模式，即：

$S_{\mathrm{pattern}}\↔(p_1,p_2,...,p_k),S_{\mathrm{pattern}}\∈S_{\mathrm{tr}}.$

综上所述，在本发明中，通过分析用户的历史播放记录，获得相似的播放行为；将每条记录映射到一个二维平面内，完成数据到单元格的映射；将具有相似播放行为的记录聚合为数据堆，完成初步聚类，并抽取一部分具有代表性的播放行为作为其播放模式；匹配用户当前的播放行为，判断该行为属于哪一种播放模式，将具有相似播放行为(即：属于同一播放模式)的节点组合起来，完成二次聚类，并构成社区。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于用户行为的社区探测方法，其特征在于，所述方法包括：

分析用户的历史播放记录，获取相似的播放行为；

将每条记录映射到一个由播放连续性和播放时间组成的二维平面内，完成数据到单元格的映射；

将具有相似播放行为的记录聚合为数据堆，完成初步聚类，并抽取一部分具有代表性的播放行为作为其播放模式；

匹配用户当前的播放行为，判断该行为属于哪一种播放模式，将具有相似播放行为(即：属于同一播放模式)的节点组合起来，完成二次聚类，并构成社区。

2.根据权利要求1所述的方法，其特征在于，所述的分析历史播放记录的方法包括：

定义每一个历史播放记录tr_i；

确定tr_i的连续播放子串str_c，并定义其播放连续性。

3.根据权利要求1至2所述的方法，其特征在于，所述的映射方法包括：

将任意1×1区域划分为m×m单元，m设置为(|S_tr|为S_tr中的条目个数)；

判断用户的播放行为记录是否在单元格内，完成数据到单元格的映射。

4.根据权利要求1所述的方法，其特征在于，所述的初步聚类方法包括：

从初始点起，利用2²×2²希尔伯特曲线搜索未知的数据区域，将每一个2²×2²单元区域作为一个子域，蚂蚁从现有的单元中选择数据并记录其访问的单元数目；

通过对整个未知子域的搜索，评估搜索过程中数据密度的变化，设置一个约束条件判定蚂蚁的搜索流程是否需要终止并丢弃其携带的数据，当数据被丢弃时，它将离开这个区域；

随后的任意蚂蚁将忽略被标记的单元，并继续在新的单元中进行搜索；

利用数据堆中各记录之间的差异度，判定每一个数据堆的堆中心，它是与所在数据堆中其他记录之间差异度最小的记录；

判断单个数据单元、小规模数据堆的堆中心与大规模数据堆的堆中心之间的差异，利用它们之间的差异度及平均差异度将其合并为大规模数据堆。

5.根据权利要求1至4所述的方法，其特征在于，所述的二次聚类方法包括：

将每条用户播放行为记录转换为长度为n的二进制串，其中每一位对应一个视频块，通过计算两个记录之间的汉明距离来判断播放内容的相似度；

利用C-Means聚类算法对初步聚类后的结果做进一步处理，最后得到较精确的基于播放内容的聚类结果。