CN104166659A - 一种地图数据判重的方法及*** - Google Patents

Abstract

本发明提供了一种地图数据判重的方法，包括：依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；依据所述有向图，利用随机游走算法获得兴趣点之间的相似度；当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据；本发明还提供一种地图数据判重的***。根据本发明提供的技术方案，能够有效识别出电子地图应用中重复的兴趣点。

Description

一种地图数据判重的方法及***

【技术领域】

本发明涉及互联网应用领域，尤其涉及一种地图数据判重的方法及***。

【背景技术】

随着地理信息***（GIS，Geographic Information System）的普及，电子地图中引进了政府机关、观光景点、宾馆、餐厅、商场以及医院等人们感兴趣的地点的名称、简介等数据，这些人们感兴趣的地点称为兴趣点（POI，Pointof Interest）。

在使用电子地图时，会依据用户输入的query（查询词）向用户提供一个以上兴趣点作为搜索结果，但是由于目前电子地图应用中兴趣点的数据来源比较多也比较杂，导致搜索结果中会出现重复的兴趣点，这样就对用户产生了干扰，当用户无法识别出需要获知的是哪个兴趣点时，就会点击搜索结果中的所有兴趣点，进一步进行人工筛选，因此，为了保证兴趣点的有效性、可靠性以及提高唯一性，必须对兴趣点进行判重处理。

目前，对兴趣点进行判重的方法是：从兴趣点的数据出发，如兴趣点的名称、地址和经纬度坐标等，先对兴趣点的名称进行解析，提取名称的核心词，然后依据兴趣点的经纬度坐标，判断附近的兴趣点的名称是否与当前兴趣点的名称有相同的核心词，综合判断出兴趣点是否重复。这种兴趣点判重方法的缺点是：仅依据兴趣点自身的数据，如名称和地址，来判断兴趣点是否重复，如果兴趣点有其他名称，或兴趣点之间仅有几个字的差异，将会导致兴趣点的判重失败，例如，“兰会所”与“会所”，“牛街邮政支局”与“北京市南区邮电局牛街支局”，这两组兴趣点都是重复的兴趣点，但是利用目前的判重方法无法识别出这两组重复的兴趣点，因此，目前的兴趣点判重方法中重复兴趣点的识别率较低。

【发明内容】

本发明提供了一种地图数据判重的方法及***，能够有效识别出电子地图应用中重复的兴趣点。

本发明的具体技术方案如下：

根据本发明一优选实施例，一种地图数据判重的方法，包括：

依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；

依据所述有向图，利用随机游走算法获得兴趣点之间的相似度；

当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

上述方法中，所述查询词为对用户点击日志中的查询词进行泛需求查询词筛选后得到的查询词。

上述方法中，所述有向图包括一个以上有向边；

所述有向边的两端分别为查询词和兴趣点；

所述有向边的指向为兴趣点指向查询词；

所述有向边的权重值为兴趣点的点击次数。

上述方法中，所述利用随机游走算法获得兴趣点之间的相似度具体为：

对于每个兴趣点，将所述兴趣点的有向边的权重值除以与所述兴趣点相连的有向边的权重值的总和，得到有向边的归一化概率；

以所述兴趣点为起点，通过与所述兴趣点连接的所有有向边向对端的查询词游走；达到对端的查询词后，再以对端的查询词为起点，通过与所述查询词连接的有向边向所述查询词对端的兴趣点游走，直到达到预设的迭代次数时停止迭代，得到两个兴趣点的所有路径；

将每个路径中有向边的归一化概率相乘，得到所述路径的概率；

将两个兴趣点的所有路径的概率累加，得到两个兴趣点的相似度。

一种地图数据判重的***，包括：生成单元、统计单元、判重单元；其中，

生成单元，用于依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；

统计单元，用于依据生成单元生成的有向图，利用随机游走算法获得兴趣点之间的相似度；

判重单元，用于当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

上述***中，所述查询词为对用户点击日志中的查询词进行泛需求查询词筛选后得到的查询词。

上述***中，所述有向图包括一个以上有向边；

所述有向边的两端分别为查询词和兴趣点；

所述有向边的指向为兴趣点指向查询词；

所述有向边的权重值为兴趣点的点击次数。

上述***中，所述统计单元在利用随机游走算法获得兴趣点之间的相似度时，具体为：

对于每个兴趣点，将所述兴趣点的有向边的权重值除以与所述兴趣点相连的有向边的权重值的总和，得到有向边的归一化概率；

以所述兴趣点为起点，通过与所述兴趣点连接的所有有向边向对端的查询词游走；达到对端的查询词后，再以对端的查询词为起点，通过与所述查询词连接的有向边向所述查询词对端的兴趣点游走，直到达到预设的迭代次数时停止迭代，得到两个兴趣点的所有路径；

将每个路径中有向边的归一化概率相乘，得到所述路径的概率；

将两个兴趣点的所有路径的概率累加，得到两个兴趣点的相似度。

由以上技术方案可以看出，本发明提供的具有以下有益效果：

基于用户点击日志进行POI的聚类，能够有效识别出一些目前线下POI判重无法覆盖的重复数据，有效识别出电子地图应用中重复的兴趣点，提高重复的兴趣点的识别率和准确率。

【附图说明】

图1是本发明实现地图数据判重的方法的优选实施例的流程示意图；

图2是本发明中有向图的示例图；

图3是本发明实现地图数据判重的***的优选实施例的结构示意图。

【具体实施方式】

本发明的基本思想是：依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；依据所述有向图，利用随机游走算法获得兴趣点之间的相似度；当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明提供一种地图数据判重的方法，图1是本发明实现地图数据判重的方法的优选实施例的流程示意图，如图1所示，该优选实施例包括以下步骤：

步骤S101，依据用户点击日志获得用户搜索的查询词，并去除其中的泛需求查询词。

具体的，从后台服务器获取最近一段时间内的用户点击日志，如可以是最近一个月内的用户点击日志，所述用户点击日志包括用户搜索的query以及在该query的搜索结果中用户点击的POI。

从所述用户点击日志中获取用户在最近一段时间内的query集合，然后依据预设的泛需求词表对query集合进行筛选，从query集合中识别出泛需求query，然后从query集合中删除识别出的泛需求query；例如，从query集合中删除“美食”、“酒店”或“学校”等泛需求query。

由于在进行泛需求搜索时，用户在搜索结果中所点击的POI比较分散，一般不会点击重复的POI，而精确搜索中用户才可能会点击重复的POI，因此，对用户的query需要进行筛选，去除其中的泛需求query。

步骤S102，依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数之间的对应关系生成有向图。

具体的，对于筛选后得到的query，电子地图应用都会在搜索结果中给出一个以上POI供用户选择，例如，电子地图应用中查询词为“牛街邮局”，搜索结果为“牛街邮政支局”和“北京市南区邮电局牛街支局”两个POI；本优选实施例中，对于筛选后得到的每个query，依据用户点击日志统计最近一段时间内该query下每个POI的点击次数；例如，可以统计最近一个月内每个query下POI的点击次数。

得到用户点击的POI的点击次数后，生成用户输入的query、该query的搜索结果中的POI以及POI的点击次数的对应关系，其中，一个query的搜索结果中可以有一个以上POI，每个POI都有一个点击次数；这里，如果直接利用该对应关系来识别重复的POI，则识别出的重复POI的准确度较低，因为只是利用了一个query的点击信息，如果利用多个对应关系来识别重复的POI，就可以利用多个query的点击信息来识别POI之间的关系，识别出的POI的准确度较高；例如，对于query1，某用户点击了POI A和POI B，并不能判断出POI A和POI B是重复的POI，但是，对于query1、query2和query3，用户都是点击了POI A和POI B，那么POI A和POI B是重复的POI的可能性较大；基于该原理，本优选实施例中，需要依据用户输入的query、用户在query的搜索结果中点击的POI以及POI的点击次数的对应关系，生成有向图，所述有向图中，如果有query到POI的点击，就组成一个有向边，每个有向边都有两个节点，一个是起点，一个是终点，有向边的指向为POI指向query，表示该POI是该query下的POI，因此POI是起点，query为终点，所述对应关系中POI的点击次数作为有向边的权重值；这里，由于本发明是要得到POI之间的关系，因此将POI作为有向边的起点。

图2是本发明中有向图的示例图，如图2所示，POI A分别指向query2和query4，POI B指向query1，POI C指向query2，POI D指向query2和query4，表示对于query1，用户点击了POI B，对于query2，用户点击了POI A、POI C和POI D，对于query3，用户没有点击任何POI，对于query4，用户点击了POI A和POI D。

步骤S103，依据所述有向图，利用随机游走算法获得兴趣点之间的相似度，判定相似度大于预设阈值的两个兴趣点为重复数据。

具体的，依据步骤S102中生成的有向图，本优选实施例中，利用随机游走（random walk）算法计算得到POI之间的相似度，具体包括：

首先，每个POI，都有一个以上有向边与该POI相连，每个有向边都有权重值，将每个有向边的权重值除以与该POI相连的有向边的权重值的总和，得到该有向边的归一化概率，即：与同一个POI相连的有向边的归一化概率的总和等于1；利用该方法可以为每个POI的每个有向边计算出对应的归一化概率，从而为有向图中所有的有向边都计算出对应的归一化概率。

然后，对于每个POI，以该POI为起点，通过与该POI连接所有有向边向对端的query游走，且通过有向边向对端的query游走时，每个有向边之间的概率相同；达到对端的query后，再以该query为起点，通过与该query连接的有向边向该query对端的POI游走，如此迭代，直到达到预设的迭代次数时停止迭代，停止迭代后可以得到一个POI到另一个POI的所有路径，每个路径中将包括两个以上有向边，将每个路径中包括的有向边的归一化概率相乘，得到该路径的概率，将一个POI到另一个POI的所有路径的概率累加，得到这两个POI的相似度；其中，迭代次数可以依据需求进行预先配置，例如，实际应用时迭代次数一般配置为4次。

将计算出的相似度与预设阈值进行比较，判定其中相似度大于预设阈值的两个POI是重复数据。

例如，如图2所示，POI A到POI D的路径有两个，即POI A→query2→POID和POI A→query4→POI D，因此，POI A与POI D的相似度等于这两个路径的概率的总和，POI A→query2→POI D路径的概率等于POI A到query2的有向边的归一化概率与query2到POI D的有向边的归一化概率的乘积。

如果同一个query的搜索结果中有重复数据，则用户点击重复数据的概率差不多，如果多个query下，用户都点击了两个相同的POI很多次，那么这两个POI是重复数据的可能性就很大，这样，生成的有向图中，这两个POI之间就会有多条路径，那么路径总和就比较大，从而两个POI的相似度就越大，如果该相似度大于预设阈值，那么这两个POI就会被判定为重复数据，如图2所示，query2和query4对应的POI都是POI A和POI D，利用上述方法统计下来，POI A和POI D是重复数据的可能性很大。

为实现上述方法，本发明还提供一种地图数据判重的***，图3是本发明实现地图数据判重的***的优选实施例的结构示意图，如图3所示，生成单元30、统计单元31、判重单元32；其中，

生成单元30，用于依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；

统计单元31，用于依据生成单元30生成的有向图，利用随机游走算法获得兴趣点之间的相似度；

判重单元32，用于当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

其中，所述查询词为对用户点击日志中的查询词进行泛需求查询词筛选后得到的查询词。

其中，所述有向图包括一个以上有向边；所述有向边的两端分别为查询词和兴趣点；所述有向边的指向为兴趣点指向查询词；所述有向边的权重值为兴趣点的点击次数。

其中，所述统计单元31在利用随机游走算法获得兴趣点之间的相似度时，具体为：

对于每个兴趣点，将所述兴趣点的有向边的权重值除以与所述兴趣点相连的有向边的权重值的总和，得到有向边的归一化概率；

以所述兴趣点为起点，通过与所述兴趣点连接的所有有向边向对端的查询词游走；达到对端的查询词后，再以对端的查询词为起点，通过与所述查询词连接的有向边向所述查询词对端的兴趣点游走，直到达到预设的迭代次数时停止迭代，得到两个兴趣点的所有路径；

将每个路径中有向边的归一化概率相乘，得到所述路径的概率；

将两个兴趣点的所有路径的概率累加，得到两个兴趣点的相似度。

本发明的上述技术方案中，没有依据兴趣点自身的数据进行判重，而是基于用户点击日志进行POI的聚类，能够有效识别出一些目前线下POI判重无法覆盖的重复数据，有效识别出电子地图应用中重复的兴趣点，提高重复的兴趣点的识别率和准确率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种地图数据判重的方法，其特征在于，该方法包括：

依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；

依据所述有向图，利用随机游走算法获得兴趣点之间的相似度；

当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

2.根据权利要求1所述的方法，其特征在于，所述查询词为对用户点击日志中的查询词进行泛需求查询词筛选后得到的查询词。

3.根据权利要求1所述的方法，其特征在于，

所述有向图包括一个以上有向边；

所述有向边的两端分别为查询词和兴趣点；

所述有向边的指向为兴趣点指向查询词；

所述有向边的权重值为兴趣点的点击次数。

4.根据权利要求3所述的方法，其特征在于，所述利用随机游走算法获得兴趣点之间的相似度具体为：

对于每个兴趣点，将所述兴趣点的有向边的权重值除以与所述兴趣点相连的有向边的权重值的总和，得到有向边的归一化概率；

以所述兴趣点为起点，通过与所述兴趣点连接的所有有向边向对端的查询词游走；达到对端的查询词后，再以对端的查询词为起点，通过与所述查询词连接的有向边向所述查询词对端的兴趣点游走，直到达到预设的迭代次数时停止迭代，得到两个兴趣点的所有路径；

将每个路径中有向边的归一化概率相乘，得到所述路径的概率；

将两个兴趣点的所有路径的概率累加，得到两个兴趣点的相似度。

5.一种地图数据判重的***，其特征在于，该***包括：生成单元、统计单元、判重单元；其中，

生成单元，用于依据用户行为日志统计查询词的搜索结果中兴趣点的点击次数，并依据查询词、兴趣点以及点击次数的对应关系生成有向图；

统计单元，用于依据生成单元生成的有向图，利用随机游走算法获得兴趣点之间的相似度；

判重单元，用于当两个兴趣点的相似度大于预设阈值时，判定所述两个兴趣点为重复数据。

6.根据权利要求5所述的***，其特征在于，所述查询词为对用户点击日志中的查询词进行泛需求查询词筛选后得到的查询词。

7.根据权利要求5所述的***，其特征在于，

所述有向图包括一个以上有向边；

所述有向边的两端分别为查询词和兴趣点；

所述有向边的指向为兴趣点指向查询词；

所述有向边的权重值为兴趣点的点击次数。

8.根据权利要求7所述的***，其特征在于，所述统计单元在利用随机游走算法获得兴趣点之间的相似度时，具体为：

对于每个兴趣点，将所述兴趣点的有向边的权重值除以与所述兴趣点相连的有向边的权重值的总和，得到有向边的归一化概率；

以所述兴趣点为起点，通过与所述兴趣点连接的所有有向边向对端的查询词游走；达到对端的查询词后，再以对端的查询词为起点，通过与所述查询词连接的有向边向所述查询词对端的兴趣点游走，直到达到预设的迭代次数时停止迭代，得到两个兴趣点的所有路径；

将每个路径中有向边的归一化概率相乘，得到所述路径的概率；

将两个兴趣点的所有路径的概率累加，得到两个兴趣点的相似度。