CN110390061A - 一种基于社交媒体的空间主题查询方法 - Google Patents

Abstract

本发明公开了一种基于社交媒体的空间主题查询方法。本发明考虑了文本的位置和语义信息，设计了主题索引以及相应的查询算法。为了获得文本的主题，本发明使用针对短文本的主题模型来训练社交媒体数据。本发明引入结合位置和主题的空间主题索引，可以根据位置和主题进行有效查询，并根据评估结果与查询的相关性，包括主题相关性和空间距离，以对用户进行排名，使得查询结果更加准确。

Description

一种基于社交媒体的空间主题查询方法

技术领域

本发明涉及空间主题查询技术领域，具体涉及一种基于社交媒体的空间主题查询方法。

背景技术

随着Twitter等社交媒体的快速发展，用户生成内容(UGC)的规模越来越大。例如Twitter上每月活跃用户约3亿，其中每天有1亿用户发布推文。当前许多研究者已经提出了各种技术来帮助用户从这些大规模社交媒体数据中获得有用的信息。

另外，具有GPS功能的移动设备如手机，也在广泛使用，因此社交媒体可以支持基于位置的服务。例如，当用户发布推文时，他可以选择标记推文的位置。所以当附近有用户感兴趣的事发生时的时候，用户可能会在社交媒体上讨论。此外，新用户可能希望找到一些附近有类似爱好的朋友。所以从海量信息里找到并向用户推荐有用信息的方法是有意义的。通常，社交媒体文本(例如，推文)很短，因为平台限制了文本的字符数，并且短文本在日常生活中常用，这使得难以从这些文本中获得有用的信息。目前，大量工作侧重于组织和分析地理标记数据，通常是采用传统且有效的方法，即空间关键词查询来处理基于位置的数据。

传统的空间关键字查询侧重于位置和关键词，并且在大多数情况下表现很好。但是，在有些情况下，空间关键字查询无法获得满意的结果，因为它无法捕获语义信息。例如，用户查询一个词，可能并不是要求该词必须出现在结果中，而是只要求结果与查询词相关。因此与语义查询相比，只查询关键字是比较死板的。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于社交媒体的空间主题查询方法解决了社交文本查询结果不准确的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于社交媒体的空间主题查询方法，包括以下步骤：

S1、对外部语料库进行词嵌入训练获得词特征向量；

S2、对原始数据进行预处理，得到训练数据；

S3、将词特征向量和训练数据通过MetaLDA进行训练，得到训练好的主题模型并构建空间主题索引；

S4、通过训练好的主题模型获取查询文本的主题向量；

S5、根据查询文本的主题向量在空间主题索引中搜索社交文本，并对社交文本对应的用户进行降序排列。

进一步地：所述步骤S3中空间主题索引的构建包括主题构建和空间构建。

进一步地：所述主题构建方法为：去除文本中的停用词，采用TF-IDF方法去除文本中的高频和低频词汇，通过文本中的剩余数据训练MetaLDA主题模型，选择具有最高概率的主题标记文本，根据主题对所有文本进行分类，使每个主题具有相应的文本列表。

进一步地：所述空间构建方法为：通过四叉树构建索引，将整个区域分成四个区域，将包含主题和相应文本的列表存储在叶子节点中，当单个区域中的文本数量大于数量阈值时，将该区域递归地划分为4个小区域，当单个区域的面积小于面积阈值时，该区域不再被分隔。

进一步地：所述步骤S5中社交文本搜索方法为：

根据查询文本的主题对主题概率进行排序，当两个相邻主题概率的比值大于比值阈值时，两个相邻主题都需要进行查询，并根据待查询的主题和查询的位置，在空间主题索引中查询获取所有社交文本。

进一步地：所述两个相邻主题概率的比值的计算公式为：

上式中，λ_i-1为第i个主题概率与第i-1个主题概率的比值，P_i为第i个主题概率，P_i-1为第i-1个主题概率。

进一步地：所述步骤S5中用户排序的方法为：对用户的文本分数求平均分，根据平均分对用户进行降序排列，寻找最相关的用户；

所述文本分数θ(t,q)的计算公式为：

θ(t,q)＝γ·μ(t,q)+(1-γ)·v(t,q)

上式中，γ为中间参数，γ∈[0,1]，μ(t,q)为距离分数，v(t,q)为语意分数，t为任意一段文本，包括位置，文本以及根据文本预测出的主题向量，q为一个查询，包括位置，文本和主题向量；

所述距离分数μ(t,q)的计算公式为：

μ(t,q)＝σ(r-d(t.l,q.l))

上式中，d(t.l,q.l)为社交文本标记的位置与查询q的位置之间的距离，r为查询半径超参数，σ为用于标准化距离得分的sigmoid函数；

所述语意分数v(t,q)的计算公式为：

上式中，t.v和q.v分别为查询和当前社交文本的主题向量；

所述平均分score(u,q)的计算公式为：

上式中，T′_u为该用户经过索引查询出来的候选集中属于用户u的社交文本。

本发明的有益效果为：本发明考虑了文本的位置和语义信息，设计了主题索引以及相应的查询算法。为了获得文本的主题，本发明使用针对短文本的主题模型来训练社交媒体数据。本发明引入结合位置和主题的空间主题索引，可以根据位置和主题进行有效查询，并根据评估结果与查询的相关性，包括主题相关性和空间距离，以对用户进行排名，使得查询结果更加准确。

附图说明

图1为本发明流程图；

图2为本发明中索引结构示意图；

图3为本发明中索引构建时间示意图；

图4为本发明中查询效率示意图；

图5为本发明中预测时间示意图；

图6为本发明中查询精确率示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于社交媒体的空间主题查询方法，其特征在于，包括以下步骤：

S1、对外部语料库进行词嵌入训练获得词特征向量；

S2、对原始数据进行预处理，得到训练数据；

S3、将词特征向量和训练数据通过MetaLDA进行训练，得到训练好的主题模型并构建空间主题索引；

空间主题索引的构建包括主题构建和空间构建。

所述主题构建方法为：去除文本中的停用词，采用TF-IDF方法去除文本中的高频和低频词汇，通过文本中的剩余数据训练MetaLDA主题模型，选择具有最高概率的主题标记文本，根据主题对所有文本进行分类，使每个主题具有相应的文本列表。

如图2所示，所述空间构建方法为：通过四叉树构建索引，将整个区域分成四个区域，将包含主题和相应文本的列表存储在叶子节点中，当单个区域中的文本数量大于数量阈值时，将该区域递归地划分为4个小区域，当单个区域的面积小于面积阈值时，该区域不再被分隔。

S4、通过训练好的主题模型获取查询文本的主题向量；

S5、根据查询文本的主题向量在空间主题索引中搜索社交文本，并对社交文本对应的用户进行降序排列。

社交文本搜索方法为：

根据查询文本的主题对主题概率进行排序，当两个相邻主题概率的比值大于比值阈值时，两个相邻主题都需要进行查询，并根据待查询的主题和查询的位置，在空间主题索引中查询获取所有社交文本。

两个相邻主题概率的比值的计算公式为：

上式中，λ_i-1为第i个主题概率与第i-1个主题概率的比值，P_i为第i个主题概率，P_i-1为第i-1个主题概率。

用户排序的方法为：对用户的文本分数求平均分，根据平均分对用户进行降序排列，寻找最相关的用户；

所述文本分数θ(t,q)的计算公式为：

θ(t,q)＝γ·μ(t,q)+(1-γ)·v(t,q)

上式中，γ为中间参数，γ∈[0,1]，μ(t,q)为距离分数，v(t,q)为语意分数，t为任意一段文本，包括位置，文本以及根据文本预测出的主题向量，q为一个查询，包括位置，文本和主题向量；

所述距离分数μ(t,q)的计算公式为：

μ(t,q)＝σ(r-d(t.l,q.l))

上式中，d(t.l,q.l)为社交文本标记的位置与查询q的位置之间的距离，r为查询半径超参数，σ为用于标准化距离得分的sigmoid函数，在sigmoid函数中，如果两个位置之间的距离小于r-5km，则得分接近1并且函数变平。如果d(t.l,q.l)是一个较大的值，则推文得分非常低，反之亦然。d(t.l,q.l)小于阈值r的推文都接近查询的位置。在这种情况下，这些推文的d(t.l,q.l)影响不大，因此我们将更多地考虑语义分数。相反，如果d(t.l,q.l)远大于阈值r，则它们的分数都接近于零。

所述语意分数v(t,q)的计算公式为：

上式中，t.v和q.v分别为查询和当前社交文本的主题向量。

所述平均分score(u,q)的计算公式为：

上式中，T′_u为该用户经过索引查询出来的候选集中属于用户u的社交文本。

本发明使用从Twitter上爬取的约一百万条推文作为实验数据集，包含推文的ID，用户ID，经纬度以及文本内容。与提出的基于MetaLDA的空间主题查询进行对比的算法包括:

1.基于四叉树的空间关键词查询(以下用Spatial Keyword简写)；

2.基于LDA的空间主题查询(以下用LDA简写)；

几组实验都使用四叉树，并且以相同方式实现，并且在同一台服务器上进行测试。

索引构建的效率及内存消耗如表1，可以看到本发明相较于空间关键词查询，构建效率高，内存消耗也较低。

表1索引构建的效率及内存消耗

不同数量阈值M下索引构建的时间如图3所示，数量阈值M越大，主题数越少，则索引构建越快。

本发明测试了在不同的主题数和数量阈值M的设置下效率的对比，如图4所示。可以看到在不同的参数设置下，本发明提出的方法均表现优于另外两种方法。整体来看，主题数较多，分类更加精细，查询效率更高。对于数量阈值M，阈值越大，即每个节点包含的文本越多，需要计算的候选集越多，消耗时间会稍多。

其中查询时间包含了一部分从文本预测主题的时间，如图5所示。可以看到，优于MetaLDA用到更多信息，所以需要时间更多，不过，这部分时间非常短，只占总查询时间的一小部分。

为了评估查询结果与查询内容的关联程度，本发明邀请一些学生来判断查询结果与查询语意是否相似并取平均结果。在不同的选取主题的比值阈值ξ参数下，较小的比值阈值ξ意味着更宽松的查询，当然结果的相关程度可能会较低。几种方法的效果如图6所示。

Claims (7)

1.一种基于社交媒体的空间主题查询方法，其特征在于，包括以下步骤：

S1、对外部语料库进行词嵌入训练获得词特征向量；

S2、对原始数据进行预处理，得到训练数据；

S3、将词特征向量和训练数据通过MetaLDA进行训练，得到训练好的主题模型并构建空间主题索引；

S4、通过训练好的主题模型获取查询文本的主题向量；

S5、根据查询文本的主题向量在空间主题索引中搜索社交文本，并对社交文本对应的用户进行降序排列。

2.根据权利要求1所述的基于社交媒体的空间主题查询方法，其特征在于，所述步骤S3中空间主题索引的构建包括主题构建和空间构建。

3.根据权利要求2所述的基于社交媒体的空间主题查询方法，其特征在于，所述主题构建方法为：去除文本中的停用词，采用TF-IDF方法去除文本中的高频和低频词汇，通过文本中的剩余数据训练MetaLDA主题模型，选择具有最高概率的主题标记文本，根据主题对所有文本进行分类，使每个主题具有相应的文本列表。

4.根据权利要求3所述的基于社交媒体的空间主题查询方法，其特征在于，所述空间构建方法为：通过四叉树构建索引，将整个区域分成四个区域，将包含主题和相应文本的列表存储在叶子节点中，当单个区域中的文本数量大于数量阈值时，将该区域递归地划分为4个小区域，当单个区域的面积小于面积阈值时，该区域不再被分隔。

5.根据权利要求1所述的基于社交媒体的空间主题查询方法，其特征在于，所述步骤S5中社交文本搜索方法为：

根据查询文本的主题对主题概率进行排序，当两个相邻主题概率的比值大于比值阈值时，两个相邻主题都需要进行查询，并根据待查询的主题和查询的位置，在空间主题索引中查询获取所有社交文本。

6.根据权利要求5所述的基于社交媒体的空间主题查询方法，其特征在于，所述两个相邻主题概率的比值的计算公式为：

上式中，λ_i-1为第i个主题概率与第i-1个主题概率的比值，P_i为第i个主题概率，P_i-1为第i-1个主题概率。

7.根据权利要求1所述的基于社交媒体的空间主题查询方法，其特征在于，所述步骤S5中用户排序的方法为：对用户的文本分数求平均分，根据平均分对用户进行降序排列，寻找最相关的用户；

所述文本分数θ(t,q)的计算公式为：

θ(t,q)＝γ·μ(t,q)+(1-γ)·v(t,q)

上式中，γ为中间参数，γ∈[0,1]，μ(t,q)为距离分数，v(t,q)为语意分数，t为任意一段文本，包括位置，文本以及根据文本预测出的主题向量，q为一个查询，包括位置，文本和主题向量；

所述距离分数μ(t,q)的计算公式为：

μ(t,q)＝σ(r-d(t.l,q.l))

上式中，d(t.l,q.l)为社交文本标记的位置与查询q的位置之间的距离，r为查询半径超参数，σ为用于标准化距离得分的sigmoid函数；

所述语意分数v(t,q)的计算公式为：

上式中，t.v和q.v分别为查询和当前社交文本的主题向量；

所述平均分score(u,q)的计算公式为：

上式中，T′_u为该用户经过索引查询出来的候选集中属于用户u的社交文本。