CN103593413B - 基于Agent的元搜索引擎个性化方法 - Google Patents

Abstract

本发明公开了一种基于Agent的元搜索引擎个性化方法，实现步骤如下，(1)判断用户是否首次使用元搜索引擎，若是，转至步骤(2)，否则转至步骤(6)；(2)挖掘用户浏览记录；(3)初始化用户兴趣模型；(4)划分用户群组；(5)获取组群兴趣；(6)对非首次使用元搜索引擎的用户，判断其是否需要检索信息，若是，转至步骤(7)，否则转至步骤(10)；(7)推荐相关信息；(8)记录用户点击链接；(9)更新用户兴趣；(10)结束。本发明所述方法根据用户兴趣对用户分组并进行相关推荐，使用户得到更具有针对性的检索结果，本发明可以用于互联网的元搜索引擎。

Description

基于Agent的元搜索引擎个性化方法

技术领域

本发明属于信息处理技术领域，更进一步涉及互联网信息检索领域和个性化服务领域中的基于Agent的元搜索引擎个性化方法。本发明可应用于元搜索引擎优化领域中有关满足用户个性化检索需求的一种方法。

背景技术

当前，面对互联网信息资源不断膨胀以及用户需求不断增加，为解决传统搜索引擎信息覆盖率低且不同搜索引擎检索结果重合率低、单一搜索引擎难以满足用户信息类查询需求等不足，提高用户的体验，能够集成多个搜索引擎的搜索结果并提供统一访问机制的元搜索引擎被提出。为解决元搜索引擎缺乏兴趣主动学习与信息推送能力等个性化服务，元搜索引擎个性化的相关技术被提出：通过分析用户的个性化检索意图，提供有针对性的检索服务；主动学习群组用户兴趣，推送用户感兴趣的信息。

西安电子科技大学申请的专利“基于用户兴趣的个性化元搜索引擎及搜索结果处理方法”（专利申请号：200910020951.4，公布号CN101477554A）公开了一种基于用户兴趣的个性化元搜索引擎及其搜索结果处理方法。该方法通过用户主动选择网站提供的兴趣类别并设置权值大小，或者对用户搜索行为进行兴趣分析，建立用户的兴趣数据模型，作为对后续搜索结果进行个性化排序的依据。该方法存在的不足是：用户需要手动设置或者进行多次检索行为，搜索引擎才可以记录、分析、获得用户兴趣，缺少对用户使用搜索引擎之前浏览记录的挖掘；没有根据用户兴趣划分用户群组，不能更好地为具有共同兴趣的用户提供贴切的推荐信息。

中兴通讯股份有限公司申请的专利“一种个性化元搜索的方法及其应用终端”（专利申请号：201010200736.5，公布号CN101853308A）公开了一种个性化元搜索的方法。该方法通过预先建立兴趣库，根据确定被搜索的关键词，从兴趣库中提取使用日志，并对搜索引擎返回的搜索结果进行预处理，利用使用日志，对与处理后的搜索结果和兴趣库中对应所述被搜索的关键词的资源定位符的兴趣度进行计算，根据计算结果排序并显示。该方法存在的不足是：通过资源定位符来表达兴趣，但是由于网络的不确定性导致资源定位符可能会失效，因而其并不适于表示用户兴趣；没有根据用户兴趣划分用户群组，不能更好地为具有共同兴趣的用户提供贴切的推荐信息。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于Agent的元搜索引擎个性化方法，通过对用户分组，在检索结果中为用户提供相同兴趣组内用户推荐的链接和兴趣词，为用户提供个性化的检索服务。

本发明的具体思路是：通过移动Agent提取用户有效浏览记录，挖掘有效浏览记录初始化用户兴趣模型，通过公共兴趣黑板中对具有相同兴趣用户的划分实现用户分组，统计分组内的推荐兴趣词和推荐链接，在用户进行检索时将对应分组的推荐兴趣词和对应用户检索词的推荐链接在检索结果中展示给用户，从而实现对用户的个性化检索服务。

为实现上述目的，本发明的具体步骤包括如下：

(1)判断用户是否首次使用元搜索引擎，若是，转至步骤(2)，否则转至步骤(6)。

(2)挖掘用户浏览记录：

2a）将移动Agent通过路由策略移动至用户客户端；

2b）利用移动Agent过滤用户浏览记录得到有效浏览记录，并将该记录发送回服务器端。

(3)初始化用户兴趣模型：

3a）服务器端的个性化Agent接收移动Agent发送的用户浏览记录；

3b）个性化Agent对有效浏览记录进行挖掘，利用分词工具对用户浏览的文本分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；

3c）将步骤3b）中得到的兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将每个三元组作为一条用户兴趣向量添加到用户兴趣模型中；

3d）判断用户兴趣模型所包含的用户兴趣向量数目是否超过阈值，若是，比较用户兴趣模型中全部用户兴趣向量的权重，将最低权重对应的用户兴趣向量删除，否则转至步骤3c）。

(4)划分用户群组：

4a）个性化Agent将用户兴趣模型中现存用户兴趣向量发布至公共兴趣黑板；

4b）公共兴趣黑板按照用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组。

(5)获取群组兴趣：

5a）提取公共兴趣黑板中每个分组内用户发布的用户兴趣向量中的兴趣词；

5b）统计每组中发布同一兴趣词的用户人数，将兴趣词按照发布用户人数的多少按照从多到少排序，提取其中前五个兴趣词作为对应分组的推荐兴趣词；

5c）统计公共兴趣黑板中每个分组内除当前第一次使用元搜索引擎的用户外，其他用户检索后对检索结果链接的点击次数，将对同一检索词的检索结果中被点击次数最高的三个链接作为相应分组中对应该检索词的推荐链接。

(6)对非首次使用元搜索引擎的用户，判断其是否需要检索信息，若是，转至步骤(7)，否则转至步骤(10)。

(7)推荐相关信息：

公共兴趣黑板按照进行检索用户的用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分到同一分组，个性化Agent将对应分组的推荐兴趣词和对应用户检索词的推荐链接在检索结果中展示给用户。

(8)记录用户点击链接：

元搜索引擎在检索结果中为用户推荐特定信息后，个性化Agent记录被用户点击的检索结果链接。

(9)更新用户兴趣：

9a）个性化Agent对记录的用户点击的检索结果链接进行挖掘，获取检索结果链接页面中的文本内容，利用分词工具对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；

9b）将步骤9a）中得到兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将获得的三元组作为用户新兴趣向量；

9c）判断每条用户新兴趣向量中兴趣词及其类别是否与用户兴趣模型中已有的用户旧兴趣向量中兴趣词及其类别一致，若是，将用户旧兴趣向量中的兴趣词权重更新为新兴趣向量和旧兴趣向量中两个兴趣词权重的相加值；否则，将对应用户兴趣模型中最低权重的旧兴趣向量删除，将新兴趣向量添加到用户兴趣模型中；

9d）个性化Agent将更新后的用户兴趣向量发布至公共兴趣黑板中，公共兴趣黑板根据用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组。

(10)结束。

本发明与现有的技术相比具有以下优点：

第一，本发明利用移动Agent在客户端过滤用户搜索记录得到有效浏览记录，服务器端的个性化Agent接收并挖掘移动Agent发回的有效浏览记录，初始化用户兴趣，克服了现有技术中用户需要手动设置或者进行多次检索行为，搜索引擎才可以记录、分析、获得用户兴趣，使得本发明的方法可以快速的初始化用户兴趣模型，进而依据用户兴趣进行后续处理，短时间内即可为用户提供个性化推荐。

第二，本发明通过一个阈值限制用户兴趣模型中用户兴趣向量的数目，实现了对用户兴趣的收敛，克服了现有技术中由于用户兴趣发散，用户兴趣模型不能准确表达用户兴趣的缺点，使得本发明更精确的表达用户当前所具有的兴趣，可以准确的划分用户群组。

第三，本发明通过公共兴趣黑板中对具有相同兴趣用户的划分实现用户分组，统计分组内的推荐兴趣词和推荐链接，在用户进行检索时将对应分组的推荐兴趣词和对应用户检索词的推荐链接在检索结果中展示给用户。克服了现有技术中没有对用户分组进而获得组内成员推荐信息的缺点，使得本发明可以提供共同兴趣组内用户的推荐信息，满足用户个性化的检索需求。

附图说明

图1是本发明的流程图；

图2是公共兴趣黑板的工作模式图。

具体实施方式

下面结合附图1对本发明的步骤作进一步的详细描述。

步骤1，判断用户是否首次使用元搜索引擎，若是，转至步骤2，否则，转至步骤6；凡使用过元搜素引擎的用户都会被给予一个用户标识，未注册用户被分配一个cookie值，注册用户会有一个用户名，所以首次使用元搜索的用户是没有任何用户标识的，由此可以判断出用户是否首次使用元搜索引擎。

步骤2，挖掘用户浏览记录。

将移动Agent通过路由策略移动至用户客户端，路由策略是移动Agent获取服务器端个性化Agent发送的客户端地址后，根据当前网络开销在客户端移动的策略。

利用移动Agent过滤用户浏览记录得到有效浏览记录，并将该记录发送回服务器端，过滤是通过浏览时长过滤用户浏览记录得到有效浏览记录的过程，用户浏览时间少于10秒钟的页面记录均视为无效浏览记录。

步骤3，初始化用户兴趣模型。

服务器端的个性化Agent接收移动Agent发送的用户浏览记录。

个性化Agent对有效浏览记录进行挖掘，ICTCLAS是中科院开发的一款用于对中文文本分词的工具，本发明利用ICTCLAS分词工具对用户浏览的文本分词，并根据ICTCLAS分词工具对词性的分析，去除了文本中的标点符号、副词、介词、连词、叹语、语气词、代词等无用词，统计文本中剩余的词得到有用词条及频度，将出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；朴素贝叶斯公式通过计算文本中词条在不同类别中的概率，取概率最大值对应的类别作为文本的类别，朴素贝叶斯公式如下：

$C_{\mathrm{NB}}=\arg \mathrm{Max}(P\left(c_j\right)*{\∏}_1^{c}P\left(x_i\right|c_j))$

其中，C_NB代表文本的类别，P(c_j)代表类别j的先验概率，P(x_i|c_j)代表词条x_i在类别c_j中的类条件概率，c代表不同的类别数，∏₁ ^cP(x_i|c_j)代表计算出词条x_i在所有类别中的类条件概率。

将上述步骤中得到的兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将每个三元组作为一条用户兴趣向量添加到用户兴趣模型中。

判断用户兴趣模型所包含的用户兴趣向量数目是否超过阈值，本发明中的阈值取40，若是，比较用户兴趣模型中全部用户兴趣向量的权重，将最低权重对应的用户兴趣向量删除，否则继续向用户兴趣模型中添加用户兴趣向量。

步骤4，划分用户群组。

个性化Agent将用户兴趣模型中现存用户兴趣向量发布至公共兴趣黑板；公共兴趣黑板按照用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组。

步骤5，获取群组兴趣。

提取公共兴趣黑板中每个分组内用户发布的用户兴趣向量中的兴趣词；统计每组中发布同一兴趣词的用户人数，将兴趣词按照发布用户人数的多少按照从多到少排序，提取其中前五个兴趣词作为对应分组的推荐兴趣词；统计公共兴趣黑板中每个分组内除当前第一次使用元搜索引擎的用户外，其他用户检索后对检索结果链接的点击次数，将对同一检索词的检索结果中被点击次数最高的三个链接作为相应分组中对应该检索词的推荐链接。

参照图2，本发明中的划分用户群组和获取群组兴趣是由公共兴趣黑板实现的；

个性化Agent挖掘用户浏览记录，初始化用户兴趣模型，将用户兴趣模型中的用户兴趣向量发布到黑板上；公共兴趣黑板按照用户兴趣向量中兴趣词类别的异同将不同的用户分成若干组，如图中Agent1、Agent2、Agent3兴趣属于汽车组，Agent4、Agent5兴趣属于枪械组。

公共兴趣黑板完成对用户群组的划分后，即进行群组兴趣的获取，如图中汽车兴趣组中得到诸如“林肯”、“法拉利”等多个推荐兴趣词，兴趣词对应的权值即是发布该兴趣的人数；枪械兴趣组得到针对查询“步枪”、“AK47”等多个推荐链接。

步骤6，对非首次使用元搜索引擎的用户，判断其是否需要检索信息，若是，转至步骤(7)，否则转至步骤(10)。

步骤7，推荐相关信息。

公共兴趣黑板按照进行检索用户的用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分到同一分组，个性化Agent将对应分组的推荐兴趣词和对应用户检索词的推荐链接在检索结果中展示给用户。

如果用户存在于多个分组中，则首先判断用户所属多个分组内的所有推荐链接对应的检索词是否与当前用户的检索词一致，若是，则推荐该分组内的推荐链接和推荐兴趣词；否则，没有推荐链接，则在用户所属多个组中选取权值最高的五个推荐兴趣词，在检索结果中推荐给用户。

步骤8，记录用户点击链接。

元搜索引擎在检索结果中为用户推荐特定信息后，个性化Agent记录被用户点击的检索结果链接。

步骤9，更新用户兴趣。

个性化Agent对记录的用户点击的检索结果链接进行挖掘，获取检索结果链接页面中的文本内容，利用分词工具对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别。

将上述得到兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将获得的三元组作为用户新兴趣向量。

判断每条用户新兴趣向量中兴趣词及其类别是否与用户兴趣模型中已有的用户旧兴趣向量中兴趣词及其类别一致，若是，将用户旧兴趣向量中的兴趣词权重更新为新兴趣向量和旧兴趣向量中两个兴趣词权重的相加值；否则，将对应用户兴趣模型中最低权重的旧兴趣向量删除，将新兴趣向量添加到用户兴趣模型中。

个性化Agent将更新后的用户兴趣向量发布至公共兴趣黑板中，公共兴趣黑板根据用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组。

步骤10，结束。

本发明需要移动Agent、个性化Agent和公共兴趣黑板协作完成实现为用户推荐个性化信息。移动Agent按照***派发给它的任务，在用户客户端路由，过滤用户客户端的历史浏览记录得到有效浏览记录；个性化Agent挖掘用户有效浏览记录为每一个用户建立一个用户兴趣模型，个性化Agent记录用户对检索结果页面的点击浏览信息，以对其进行分析，更新用户兴趣模型；公共兴趣黑板根据个性化Agent发布的用户兴趣，划分用户群组，统计组内用户的兴趣词和对检索结果中链接的点击即可得到组内推荐兴趣词和推荐链接；用户检索时将相应推荐信息推荐给用户即可实现为用户个性化的服务。

Claims (5)

1.一种基于Agent的元搜索引擎个性化方法，包括以下步骤：

(1)判断用户是否首次使用元搜索引擎，若是，转至步骤(2)，否则转至步骤(6)；

(2)挖掘用户浏览记录：

2a)将移动Agent通过路由策略移动至用户客户端；

2b)利用移动Agent过滤用户浏览记录得到有效浏览记录，并将该记录发送回服务器端；

(3)初始化用户兴趣模型：

3a)服务器端的个性化Agent接收移动Agent发送的用户浏览记录；

3b)个性化Agent对有效浏览记录进行挖掘，利用分词工具对用户浏览的文本分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；

3c)将步骤3b)中得到的兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将每个三元组作为一条用户兴趣向量添加到用户兴趣模型中；

3d)判断用户兴趣模型所包含的用户兴趣向量数目是否超过阈值，若是，比较用户兴趣模型中全部用户兴趣向量的权重，将最低权重对应的用户兴趣向量删除，转至步骤(4)，否则转至步骤3c)；

(4)划分用户群组：

4a)个性化Agent将用户兴趣模型中现存用户兴趣向量发布至公共兴趣黑板；

4b)公共兴趣黑板按照用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组；

(5)获取群组兴趣：

5a)提取公共兴趣黑板中每个分组内用户发布的用户兴趣向量中的兴趣词；

5b)统计每组中发布同一兴趣词的用户人数，将兴趣词按照发布用户人数的多少按照从多到少排序，提取其中前五个兴趣词作为对应分组的推荐兴趣词；

5c)统计公共兴趣黑板中每个分组内除当前第一次使用元搜索引擎的用户外，其他用户检索后对检索结果链接的点击次数，将对同一检索词的检索结果中被点击次数最高的三个链接作为相应分组中对应该检索词的推荐链接；转至步骤(10)；

(6)对非首次使用元搜索引擎的用户，判断其是否需要检索信息，若是，转至步骤(7)，否则转至步骤(10)；

(7)推荐相关信息：

公共兴趣黑板按照进行检索用户的用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分到同一分组，个性化Agent将对应分组的推荐兴趣词和对应用户检索词的推荐链接在检索结果中展示给用户；

(8)记录用户点击链接：

元搜索引擎在检索结果中为用户推荐特定信息后，个性化Agent记录被用户点击的检索结果链接；

(9)更新用户兴趣：

9a)个性化Agent对记录的用户点击的检索结果链接进行挖掘，获取检索结果链接页面中的文本内容，利用分词工具对文本进行分词，得到文本中出现的词条及频度，将文本中出现频度大于等于5次的词条作为用户兴趣词，利用朴素贝叶斯公式计算得到文本类别；

9b)将步骤9a)中得到兴趣词对应频度的归一化值作为兴趣词的权重，将兴趣词所属文本的类别作为兴趣词的类别，按条依次得到多个由兴趣词、权重、类别组成的三元组，将获得的三元组作为用户新兴趣向量；

9c)判断每条用户新兴趣向量中兴趣词及其类别是否与用户兴趣模型中已有的用户旧兴趣向量中兴趣词及其类别一致，若是，将用户旧兴趣向量中的兴趣词权重更新为新兴趣向量和旧兴趣向量中两个兴趣词权重的相加值；否则，将对应用户兴趣模型中最低权重的旧兴趣向量删除，将新兴趣向量添加到用户兴趣模型中；

9d)个性化Agent将更新后的用户兴趣向量发布至公共兴趣黑板中，公共兴趣黑板根据用户兴趣向量中兴趣词的类别，将具有同类兴趣词的用户划分为同一分组；

(10)结束。

2.根据权利要求1所述的基于Agent的元搜索引擎个性化方法，其特征在于：步骤2a)中所述的移动Agent路由策略是指，移动Agent根据当前网络开销在客户端移动的策略。

3.根据权利要求1所述的基于Agent的元搜索引擎个性化方法，其特征在于：步骤2b)中所述的过滤是通过浏览时长过滤用户浏览记录得到有效浏览记录的过程。

4.根据权利要求1所述的基于Agent的元搜索引擎个性化方法，其特征在于：步骤3b)和步骤9a)中所述的朴素贝叶斯公式，通过计算文本中词条在不同类别中的概率，取概率最大值对应的类别作为文本的类别，朴素贝叶斯公式如下：

$C_{NB}=\arg Max\left(P\right(c_j)*{\mathrm{\Π}}_1^{c}P(x_i|c_j\left)\right)$

其中，C_NB代表文本的类别，P(c_j)代表类别j的先验概率，P(x_i|c_j)代表词条x_i在类别c_j中的类条件概率，c代表不同的类别数，∏₁ ^cP(x_i|c_j)代表计算出词条x_i在所有类别中的类条件概率。

5.根据权利要求1所述的基于Agent的元搜索引擎个性化方法，其特征在于：步骤3d)中所述的阈值的取值范围是30-50。